机器学习实战学习笔记（七）预测数值型数据：回归

最新推荐文章于 2022-12-01 13:43:48 发布

Hold_My_Own

最新推荐文章于 2022-12-01 13:43:48 发布

阅读量495

点赞数

分类专栏：机器学习文章标签：回归预测数值型数据机器学习

本文链接：https://blog.csdn.net/wozaipermanent/article/details/102833689

版权

本文详细介绍了回归分析在预测数值型数据中的应用，包括线性回归、局部加权线性回归、岭回归和lasso等方法。通过具体实例展示了如何使用这些回归算法进行预测，并探讨了偏差和方差的平衡问题。

摘要由CSDN通过智能技术生成

PS：该系列数据都可以在图灵社区（点击此链接）中随书下载中下载（如下）
在这里插入图片描述

1 用线性回归找到最佳拟合直线

                                             线性回归
	优点：结果易于理解，计算上不复杂。
	缺点：对非线性的数据拟合不好。
	适用数据类型：数值型和标称型数据。

假定输入数据存放在矩阵 $X$ 中，而回归系数存放在向量 $w$ 中。那么对于给定的数据 $X_1$ ，预测结果将会通过 $Y_1=X_1^Tw$ 给出。我们常用的方法极速找出使误差最小的 $w$ ，误差是指预测y值和真实y值之间的差值，因为该误差的简单累计有正负差值抵消，所以采用平方误差。
平方误差： $\sum_{i=1}^{m}\left(y_{i}-x_{i}^{\mathrm{T}} w\right)^{2}$
用矩阵表示还可以写作 $y-Xw)^T(y-Xw)$ ，对 $w$ 求导得： $2X^T(y-Xw)$ 。
这个式子的求导其实是有一定的技巧，观察其形式为平方形式，然后是标量对于向量 $w$ 的求导，其结果必定与 $w$ 的维度相同，然后就可以写出。当然也可以按部就班的求导，下面详细介绍这种类型的矩阵求导方法。

1.1 求导详解

关于上面那个式子求导（标量对向量求导），维基百科中有详细的介绍，放上两个链接：维基百科矩阵运算中的求导法则等和[通过一个例子快速上手矩阵求导]。(https://blog.csdn.net/nomadlx53/article/details/50849941)
下图是在维基百科中截取的标量关于向量求导的表格：
在这里插入图片描述

问题

$\frac{\partial(y-X w)^{T}(y-X w)}{\partial w}$
说明： $y 、 w$ 是列向量（一般说向量默认列向量）， $X$ 为矩阵

式子演化

$\frac{\partial\left(y^{T} y-y^{T} X w-w^{T} X^{T} y+w^{T} X^{T} X w\right)}{\partial w}$
$\frac{\partial y^{T} y}{\partial w}-\frac{\partial y^{T} X w}{\partial w}-\frac{\partial w^{T} X^{T} y}{\partial w}+\frac{\partial w^{T} X^{T} X w}{\partial w}$