这一块对应西瓜书第三章
03线性回归
3.1线性模型基本形式
其实 f(x)表达式可以理解为各属性的加权平均数。
3.2线性回归:
线性回归属于监督学习---目标值连续
常用于房价预测等情况:
3.2.1定义和公式:
![](https://i-blog.csdnimg.cn/blog_migrate/3d2b87da7add0be19efedb8b38829027.png)
3.2.2线性回归的特征与目标的关系分析
线性回归中主要有两种模型:线性关系 、非线性关系(线性关系就是一条直线,非线性关系就是曲线)
![](https://i-blog.csdnimg.cn/blog_migrate/1b1dafc0ae56fc84b8e37d6932134155.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b644c563e982d9dfb63fa1e1e3f8906d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e74964178a5544e6c5bb84839867e16.png)
3.2.3线性回归的损失和优化
观察上面的图可以看出来,真实结果y和预测结果f(x)之间会存在误差---》损失。
3.2.3.1损失函数(最小二乘法):
进一步带入得到。(其中只有w/b未知)
像这种基于均方误差最小化进行模型求解的方法我们称为 最小二乘法
在线性回归中,最小二乘法就是试图找到一条直线,是所有样本到直线上的欧氏距离之和最小。
求解w b 使最小化的过程称为线性回归的最小二乘“参数估计”,可以通过将J分别对w ,b
求偏导,令偏导=0的方法的到 w、b最优解。
3.2.3.2优化函数
常用两种方法:正规方程、梯度下降法
2.1正规方程:
一般用于多元线性回归,即数据集并非单个属性,而是由多个属性构成
举例:
该解只适用于满秩矩阵,但实际我们往往遇到的不是满秩矩阵,遇到的变量数目超过样本量,导致X的列数大于行数,此时可解出多个w,均可使误差最小化,一般选哪个作为输出,常见做法是:引入正则项。
2.2梯度下降
按照梯度下降算法的思想,它将按如下操作达到最低点:
第一步,明确自己现在所处的位置
第二步,找到相对于该位置而言下降最快的方向
第三步, 沿着第二步找到的方向走一小步,到达一个新的位置,此时的位置肯定比原来低
第四部, 回到第一步
第五步,终止于最低点
下降公式:
1.α 在梯度下降算法中被称作为学习率或者步长,我们可以通过 α来控制每一步走的距离。但步子太大--》会跨过山谷,步子太小---》速度太慢2.中减号 便是负方向
ps:梯度的方向是 函数在给定点上升最快的方向,那么梯度的反方向就是函数在给定点下降最快的方向,这正是我们所需要的。 所以我们只要沿着梯度的反方向一直走,就能走到局部 的最低点!(微积分定义)
算法举例过程:
2.3 对比
3.3梯度下降介绍: