本文介绍了岭回归通过添加正则化项控制权重，防止过拟合，以及LASSO回归的稀疏特性。重点讨论了正则化在模型稳定性和系数选择上的作用，以及梯度下降在求解过程中的应用。
岭回归
在线性回归损失函数的基础上增加正则化项，对权重进行限制，将有限的权重放到更重要的特征维度上。
正则化项的作用：使每个权重都不会过大，若某个权重过大，自变量x一旦发生微小的改变，就会导致输出发生巨大的变化，容易过拟合。加上正则化项之后精度降低，稳定性升高
权重计算的过程：
λ的值越大，表示数据对最终权重w的影响越小，λ值增加，不重要的维度的权重会随之减少，避免求逆不存在的现象。（X转置X）求逆容易出现不存在的现象，加入了λ之后可以避免
LASSO回归
Least Absolute Shrinkage and Selection Operator
LASSO回归和岭回归的对比
与岭回归相比，LASSO回归使学习得到的权重更加稀疏（集中）,不重要的系数可以为0
梯度下降搜索的过程：
时间来不及了，就没推过程……
扫一扫
2983
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
