线性回归是通过训练数据寻找最佳拟合直线的预测方法，通常采用平方误差作为误差函数。当面临过拟合或计算量问题时，可以使用局部加权线性回归（LWLR）、岭回归、Lasso和前向逐步回归等方法。岭回归通过添加λI惩罚项防止过拟合，Lasso通过L1正则化进一步减少系数，而前向逐步回归则是一种贪心算法，每次迭代尝试最小化误差。
所谓线性回归(linear regression)，就是根据训练数据找到一组参数w，利用 y = w*s 对新数据进行预测。
通常使用误差函数为平方误差：
使该误差最小化，求导令其导数为零求得系数w，利用矩阵可以表示为：
该过程成为普通最小二乘法(ordinary least squares，OLS)
由于OLS只能找到数据最佳拟合直线，所以应用有限。引入局部加权线性回归(Locally Weighted Linear Regression, LWLR)
给每个点赋予权重，误差函数为：
，求解w得：
W即使权重矩阵
1436
4538
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
