【机器学习】从贝叶斯角度理解正则化缓解过拟合

从贝叶斯角度理解正则化缓解过拟合

参考: LR正则化与数据先验分布的关系？ - Charles Xiao的回答 - 知乎

原始的Linear Regression

假设有若干数据 $(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$，我们要对其进行线性回归。也就是得到一个方程

$$y = \omega^T x + \epsilon$$

注意，这里忽略偏置，或者可以认为偏置是在$\omega^T x$里面。

$\epsilon$ 可以认为是，我们拟合的值和真实值之间的误差。
我们将 $\epsilon$ 看成是一个随机变量，其服从高斯分布，即 $p(\epsilon)=\mathcal{N}(0,\delta^2)$ ，即：

$$p(\epsilon_i) = \frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(\epsilon_i)^2}{2\delta^2}\right)$$

则对于每一个数据点 $(x_i, y_i)$ ，我们用$x_i$得到$y_i$的概率为：

$$p(y_i|x_i;\omega) = \frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right)$$

注意，这里的$y_i$是真实值。

如果我们想要让这个概率最大，就得到了最大似然：

L(ω)=∏i=1mp(yi|xi;ω)=∏i=1m