惩罚在统计学中主要用于限制模型复杂度，通过约束参数空间来达到这一目的。例如，LASSO和最小二乘回归展示了不同的参数限制方式。正则化或惩罚方法如L1和L2惩罚在解决欠定问题时引入，有助于提升模型的稳定性和预测性能。这些方法与贝叶斯推断中的先验分布有关，并与奥卡姆剃刀原则、偏差-方差权衡等概念紧密相连。文章提到了SCAD、LASSO、Ridge回归和光滑样条等具体惩罚技术及其相关研究进展。
作者：萧议
链接：https://www.zhihu.com/question/30037293/answer/46867665
来源：知乎
著作权归作者所有，转载请联系作者获得授权。
惩罚的核心目的是限制参数空间的大小以降低模型复杂度，惩罚本身反应你对对应的统计问题的某种先验知识（比如回归系数当中应该有很多0啊，回归系数不应该太大啊）
比如n维线性回归中的LASSO和一般的最小二乘回归Least square，前者的回归系数被限制在一个L1意义下的n维球内，而后者的参数空间则是R^n
再比如光滑样条Smooth Spline通过对二阶导数进行惩罚来控制拟合曲线的光滑程度
一些情况下，惩罚有独特的概率上的解释，比如假设正太噪声的线性模型中，LASSO的L1惩罚相当于给回归参数加上了一个Laplace prior，而岭回归Ridge regression中的L2惩罚则对应一般的normal prior
这样的方法在统计中一般叫正则化Regularization，当然也可以叫惩罚Penalization，正则化由Tikhonov在解ill-posed equation时引入，通过加上惩罚项（一般来说是hilbert space上的Lp norm）来限制解可以取值的范围以保证解的良好性质，比如唯一性。后来人们发现，很多问题如果你给他太大的空间，搜索出来的解即便存在唯一，往往也不够好(under some other criteria, like predictive MSE, AIC, BIC )
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
