基本形式
线性模型是通过属性的线性组合来进行预测的函数:
一般用向量形式写成:
由于w直观的表达了各属性在预测中的重要性,因此线性模型具有很好的解释性。
线性回归
线性回归则试图学得一个线性模型尽可能准确地将预测f(xi)去 逼近yi,即:
一个良好的线性回归模型的关键就是如何将f(xi)与yi之间的误差最小化!而该模型是由w以及b确定的,那么问题回到w,b的确定:
即满足下式:
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。
求解w和b使上式最小化的过程,称为线性回归模型的最小二乘“参数估计”。
分别对w,b求偏导并为零得到唯一最优解。这里w,b均为一个值。
当输入的x为多个特征的向量时,我们学得的线性函数称为“多元线性回归”。如下式,w,b均为向量。
令X的增广矩阵和w^增广矩阵分别为:
W’=(w;b)
则有:
W’为最小二乘所求参数估计为:
对w’求导为:
当X转置乘以X满秩时则可逆有唯一解,不满秩时有多个解,学习算法的归纳偏好决定选择哪个解,常见的做法是引入正则化项。