本文探讨了贝叶斯方法与Ridge回归之间的联系。在正态分布假设下，最大似然估计与使用OLS解决线性回归相同。在贝叶斯框架中，通过引入参数的正态分布先验，后验概率的最大化转化为包含惩罚项的优化问题，与Ridge回归的正则化项一致，表明两者在特定条件下等效。
贝叶斯方法与Ridge回归有什么联系？废话少说，我们直接来看。
为了方便说明问题，考虑一维的自变量，将一系列自变量排成向量的形式： x = ( x 1 , ⋯ , x N ) T \mathbf{x}=(x_1,\cdots,x_N)^T x=(x1,⋯,xN)T，对应的目标函数为 t = ( t 1 , ⋯ , t N ) T \mathbf{t}=(t_1,\cdots,t_N)^T t=(t1,⋯,tN)T。
我们假设样本中每个 t t t都独立，且服从正态分布，分布的均值为 y ( x , w ) = ∑ j = 0 M w j x j y(x,\mathbf{w})=\sum_{j=0}^{M} w_j x^j y(x,w)=∑j=0Mwjxj（也可以不指定形式，只要是关于 x x x和 w \mathbf{w} w的函数即可），方差的倒数为 β \beta β，则似然函数为
p (
最低0.47元/天 解锁文章
2121
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
