本文深入探讨了机器学习中的线性模型，包括线性回归、岭回归、Lasso回归和多项式回归。线性回归通过最小化均方误差来找到最佳拟合直线，岭回归通过L2正则化解决共线性问题，而Lasso回归通过L1正则化实现特征选择。此外，还介绍了对数几率回归及其在分类任务中的应用。
3.1基本形式
线性模型试图学得一个通过属性的线性组合来进行预测的函数。线性模型形式简单、易于建模，但却蕴含着机器学习重要的基本思想，许多功能更强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。并且线性模型有很好的可解释性，属性的系数代表了属性的重要性。
一般用向量形式写成： f ( x ) = w T x + b f(x) = w^Tx+b f(x)=wTx+b
3.2线性回归
3.2.1书本
线性回归试图学得一个线性模型来尽可能准确的预测连续值输出标记。
若属性的值之间存在序关系，可通过连续化将其转化为连续值，比如身高属性的取值高矮可转化为{0,1}，若属性的值之间不存在序关系，则通常转化为k维向量。若将无序变量连续化，则会不恰当的引入序关系，对后续处理如距离计算等造成误导。
均方误差的回归最常用的性能度量，它的几何意义对应了常用的欧几里得距离（欧式距离）。因此我们可试图让均方误差最小化。 ∑ i = 1 m ( f ( x i ) − y i ) 2 \sum_{i=1}^m {(f(x_i )- y_i)^2} i=1∑m(f(xi)−yi)2
最小二乘法，可基于均方误差最小化来进行求解参数，其实就是试图找到一条直线，使所有样本到直线上的欧式距离最小。最小二乘估计是令导数为0求解参数，此处均方误差是关于参数的凸函数，所以可以得到最优解。可通过求解二阶导数来判别凸函数，若二阶导数非负，则称为凸函数；若二阶导数大于0，则称为严格凸函数。
若属性有多个，则称为多元线性回归。可使用矩阵展示求解最小二乘过程。 E = ( y − X w ) T ( y − X w ) E = (y - Xw)^T(y-Xw) E=(y−Xw)T(y−Xw)
当 X T X X^TX XTX为满秩矩阵或正定矩阵时，可求解出 w ∗ = ( X T X ) − 1 X T y w^* = (X^TX)^{-1}X^Ty w∗=(XTX)−1XTy
现实中 X T X
最低0.47元/天 解锁文章
963
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
