机器学习（三）正则化Regularization

背景-过拟合

由图中可以看出，当只有一次项的时候，拟合程度不够Underfitting，当存在五次方项的时候就存在过拟合现象，假设函数很好的fit给定的数据，但是不利于数据的预测
解决过拟合问题的方案：
1、减少特征值的数量

2、正则化：

• 不改变特征值的数量，减小他的系数${\theta }_j$以削弱影响
• 当我们有大量影响较小的feature的时候，正则化就很有用

线性回归正则化 Regularized Linear Regression

对于下列函数：
$${\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3+{\theta }_4{x}^4$$
消除${\theta }_3{x}^3+{\theta }_4{x}^4$的影响，会使得曲线更加平滑，cost函数将重新进行定义：
$$\underset{\theta }{\min }\frac{1}{2m}\left[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+1000\cdot {\theta }_3^2+1000\cdot {\theta }_4^2\right]$$

更通用的一个定义：

$$\underset{\theta }{\min }\frac{1}{2m}\left[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^m{\theta }_j^2\right]$$
注意这里没有考虑${\theta }_0$，因为${\theta }_0$代表的是常数项，是平移，我们想让曲线更加平滑，但是不想改变它的位置。
这个方程，依赖于$\lambda$，也依赖于系数的平方项

梯度下降法

R e a p t { θ 0 = θ 0 − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x 0 ( i ) θ j = θ j − α [ 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) + 1 m θ j ] } u n t i l c o n v e r g e n c e c o n d i t i o n i s s a t i s f i e d Reapt \{ \\ \theta_0 = \theta_0 - \alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)} )x_0^{(i)} \\ \theta_j = \theta_j - \alpha \left[ \frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)} )x_j^{(i)} + \frac{1}{m}\theta_j\right] \\ \} until \quad convergence\quad condition \quad is \quad satisfied Reapt{θ0​=θ0​−αm1​i=1∑m​(hθ​(x(i))−y(i))x0(i)​θj​=θj​−α[m1​i=1∑m​(hθ​(x(i))−y(i))xj(i)​+m1​θj​]}untilconvergenceconditionissatisfied
在梯度下降的的过程中，正则化就是通过$\frac{1}{m}{\theta }_j$体现出来的

规范解 Normal equation

$$\theta =(X^{T}X+\lambda \cdot L{)}^{-1}{X}^{T}Y$$
$$L=\left[\begin{array}{cccc}0& & & \\ & 1& & \\ & & \ddots & \\ & & & 1\end{array}\right]$$

逻辑回归正则化

逻辑回归的COST函数

$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta })+（1-y^{(i)}）\log (1-h_{\theta }(x^{(i)})))$$
增加一项，将其正则化，
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$
在梯度下降的跌代过程中
$${\theta }_0={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$$
$${\theta }_j={\theta }_j-\alpha (\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}+\frac{\lambda }{m}{\theta }_j)$$

MLE MAP

假设数据是服从分布模型：
$$d\sim p(d;\theta )$$
目标估计$\theta$的值，使得模型最贴合data的分布

MLE 极大似然估计

选择参数$\theta$，使得data出现的概率最大。
对于与给定参数$\theta$，给定数据data出现的概率为：
$$L(\theta )=p(D;\theta )=\prod _{i=1}^{m}p(d^{(i)};\theta )$$

取对数，不影响函数的单调性，有一致的极值点

$$l(\theta )=\log L(\theta )=\sum _{i=1}^m\log p(d^{(i)};\theta )$$

$${\theta }_{MLE}=\arg \underset{\theta }{\max }\sum _{i=1}^m\log p(d^{(i)};\theta )$$

MAP 最大后验估计

由贝叶斯公式可以得出，后验概率
$$p(\theta |D)=p(\theta )\frac{p(D|\theta )}{p(D)}$$

$p(\theta )$：先验概率，在没有看到数据的时候，有经验获得的概率或者猜测的概率
$p(D)$:data 出现的概率
$$p(D)={\int }_{\theta }p(\theta )p(D|\theta )d\theta$$
$p(D)$的值和$\theta$无关
$$\begin{gathered} {\theta }_{MAP}=\arg \underset{\theta }{\max }p(\theta |D) \\ =\arg \underset{\theta }{\max }p(\theta )\frac{p(D|\theta )}{p(D)} \\ =\arg \underset{\theta }{\max }p(\theta )p(D|\theta ) \\ =\arg \underset{\theta }{\max }(\log p(\theta )+\sum _{i=1}^m\log p(d^{(i)};\theta )) \end{gathered}$$

比较 MLE MAP

MLE：
$${\theta }_{MLE}=\arg \underset{\theta }{\max }\sum _{i=1}^m\log p(d^{(i)};\theta )$$
MAP:
$${\theta }_{MAP}=\arg \underset{\theta }{\max }(\log p(\theta )+\sum _{i=1}^m\log p(d^{(i)};\theta ))$$

极大似然估计，忽略了$\theta$本身的分布，认为$\theta$的分布是均匀的，但是MAP认为$\theta$是服从某一个分布的

MLE solution

对于数据集中$(x^{(i)},y^{(i)})$
$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$$
其中${ϵ}^{(i)}$服从高斯分布
$${ϵ}^{(i)}\sim N(0,{\sigma }^2)$$

那么可以得出$y^{(i)}$服从高斯分布
$$y^{(i)}|x^{(i)};\theta \sim N({\theta }^T{x}^{(i)},{\sigma }^2)$$

补充：高斯分布的概率密度函数
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-u{)}^2}{2{\sigma }^2})$$

那么似然函数就成了
$$l(\theta )=\log L(\theta )=m\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{{\sum }_{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}$$
要使$l(\theta )$取最大值
$${\theta }_{MLE}=\arg \underset{\theta }{\min }\frac{1}{2{\sigma }^2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

MAP solution

我们假设$\theta$服从高斯分布$\theta \sim N(0,{\lambda }^2)$
$$p(\theta )=\frac{1}{(\sqrt{2\pi }{\lambda }^2{)}^n}exp(-\frac{{\theta }^T\theta }{2{\lambda }^2})$$

$$\begin{gathered} {\theta }_{MAP}=\arg \underset{\theta }{\max }(\log p(\theta )+\sum _{i=1}^m\log p(d^{(i)};\theta )) \\ =\arg \underset{\theta }{\max }(-n\log (\frac{1}{\sqrt{2\pi }{\lambda }^2})-\frac{{\theta }^T\theta }{2{\lambda }^2}+\sum _{i=1}^m\log (\frac{1}{\sqrt{2\pi }{\sigma }^2}\exp (-\frac{(y^{(i)-{\theta }^T{x}^{(i)}}{)}^2}{2{\sigma }^2}))) \\ =\arg \underset{\theta }{\max }(-n\log (\frac{1}{\sqrt{2\pi }{\lambda }^2})-\frac{{\theta }^T\theta }{2{\lambda }^2}+m\log (\frac{1}{\sqrt{2\pi }{\sigma }^2})-\sum _{i=1}^m\frac{(y^{(i)-{\theta }^T{x}^{(i)}}{)}^2}{2{\sigma }^2}) \end{gathered}$$

等价于
$${\theta }_{MAP}=\arg \underset{\theta }{\min }(\frac{{\theta }^T\theta }{2{\lambda }^2}+\sum _{i=1}^m\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$