ECS_FML——线性回归w矩阵

线性回归(linear regression)，就是根据训练数据找到一组参数w，利用 y = w*s 对新数据进行预测。

通常使用误差函数为平方误差：

使该误差最小化，求导令其导数为零求得系数w，利用矩阵可以表示为：

该过程成为普通最小二乘法(ordinary least squares，OLS)
 

---

但由于OLS只能找到数据最佳拟合直线，所以应用有限。引入局部加权线性回归(Locally Weighted Linear Regression, LWLR)

给每个点赋予权重，误差函数为：，求解w得：

W即使权重矩阵，是一个只含对角元素的方阵(其余为0)，根据预测点与附近的点的距离分布，通常使用高斯核函数：

但是该方法计算量大

---

为了防止过拟合，也为了缩减系数，可以使用岭回归、lasso、前向逐步回归方法。

岭回归也就是说在线性回归求解w时加入λI惩罚项，即

根据不同λ可以得到多个系数w，可以交叉验证最优解。

岭回归这个名字只是因为λI这个惩罚项是个对角矩阵，看起来像个分界岭。

 

最小二乘法增加约束  时可以得到岭回归一样的公式，而lasso只在次基础上更改了限定：

但是求解则需要二次规划算法，增加了计算复杂度。

 

前向逐步方法是一种贪心算法，即每一步都尽可能减少误差。

在迭代中，对于每个特征，都采取增加或减小一个很小得数值来改变w，如果误差小于当前最小误差，则前进。

这里得很小得数值和迭代次数都是参数。