shrinkage简单理解

最新推荐文章于 2024-12-08 19:29:34 发布

klara__

最新推荐文章于 2024-12-08 19:29:34 发布

阅读量633

点赞数

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/klara__/article/details/132423128

版权

shrinkage简单理解

---需要各位对ols有基础认识---

在最初接触线性回归时，我们都知道ols方法的评判标准是让损失函数最小。也有各种各样的指标来衡量，最简单的就是RSS。但与此同时，也出现了一个问题，人们发现只要往进加自变量（或者说控制变量）RSS就会不断减小，但显然此时估计出来的系数β已经是没有意义的了。

为了规避这种情况，人们想到了改进衡量指标。从RSS到 $\frac{}{RSS}$ （把自变量个数考虑进去，自变量的增加对于后者是不利的)。为的就是筛选出真正有意义的自变量。可以表述为“对损失函数加入惩罚项，使得训练求解参数过程中会考虑到自变量的个数,加入无意义的变量后，对于模型改进作用不明显甚至会削弱。”通过前后对比帮助学者决定要不要加这个新的变量。

而机器学习中的特征缩减技术（shrinkage）也是异曲同工。“通过对损失函数(即优化目标)加入惩罚项，使得训练求解参数过程中会考虑到系数的大小，通过设置缩减系数(惩罚系数)，会使得影响较小的特征的系数衰减到0，只保留重要的特征。”缩减系数法，顾名思义，就是把表现不佳的变量的系数β缩减为0（或近似0）。

相比于 $\frac{}{RSS}$ 每加一个新变量都要前后对比一下，私以为shrinkage显得智能许多。