第二章.线性回归以及非线性回归—一元线性回归,代价函数,相关系数,决定系数

第二章.线性回归以及非线性回归

2.1 一元线性回归

1.概念:

1).自变量:

被用来进行预测的变量,相当于输入

2).因变量:

被预测的变量,相当于输出

3).回归分析:

用来建立方程模拟两个或者多个变量之间如何关联,两个以上的自变量,则称作多元回归分析。

2.一元线性回归方程:

1).ℎ𝜃𝑥 =β1𝑥+β0

参数说明:
β0:回归线的截距
β1:回归线的斜率

注意:β1和β0也可以使用其他标识符代替,后续会使用θ0替代β0,θ1替代β1

2).正相关

在这里插入图片描述

3).负相关

在这里插入图片描述

4).不相关

在这里插入图片描述

2.2 代价函数 (Cost Function)

1.概念:

1).代价函数:

也称为损失函数(Loss Function)

2).代价函数使用的算法:

最小二乘法

2.代价函数方程:

1).真实值y,预测值h0(𝑥),则误差平方为(y-h0(𝑥))^2

  • 注意 :不可以用绝对值,不利于后续的计算

2).代价函数:

在这里插入图片描述

  • 参数说明:
    i:样本点
    m:样本总数
    在这里插入图片描述
    注意:方程中的1/2参数可有可无,存在的意义是:形式比较好看,函数在对x求导的时候,^2会被提到函数前面,正好与1/2消掉

3).找到合适的参数,使得误差平方和最小

4).总结:

·公式:
在这里插入图片描述
·图像:
请添加图片描述
以θ1=0.5为例通过误差平方和公式画曲线:
·𝑥=1时,h0(𝑥)=0.5,平方为0.25;
·𝑥=2时,h0(𝑥)=1,平方为1;
·𝑥=3时,h0(𝑥)=1.5,平方为2.25;
·计算三个值均值再除以2:(0.25+1+2.25)/3/2=0.58(图中第二个五角星所在位置)

·如何看等高线图:
在这里插入图片描述
·图中每个圈圈(线条颜色相同)上的值都是相同的,例如3个红色叉叉值是相同的
·中间的实心红点代表图中的最小值,空心红圈越接近实心红点,就是损失函数越小
·空心红圈所对应的代表左侧图像的蓝色线:y轴数值代表左侧图像的斜率,x轴数值代表左侧图像的截距

2.3 相关系数: (R)

1.目的:

衡量线性相关性的强弱(用来描述两个变量之间的线性关系)

2.公式:

在这里插入图片描述

3.结果:

相关系数越接近于1,样本点的分布越接近于线性关系

2.4 决定系数: (R^2)

1.目的:

用来描述非线性或两个及以上自变量的相关关系,也可用于评价模型的效果

2.公式:

1).总平方和: (SST)

在这里插入图片描述

参数说明:
𝑦𝑖:真实值的y
y`:真实值的均值

2).回归平方和: (SSR)

在这里插入图片描述

参数说明:
y^:预测值的y值
y`:真实值的均值

3).残差平方和: (SSE)

在这里插入图片描述

参数说明:
𝑦𝑖:真实值的y
y^:预测值的y值

5).相关系数: (R^2)

在这里插入图片描述

4).SST,SSR,SSE之间的关系:

在这里插入图片描述

3.结果:

相关系数越接近于1,样本点的分布越接近于线性关系

  • 1
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值