regularization 正则化

机器学习笔记 - 吴恩达 - 目录

---

笔记

描述

正则化是什么？
正则化是通过对假设函数附加一项正则化参数，来减小该项的拟合程度。

为什么要有正则化？
有的时候，为了更好的拟合数据的情况，我们会在训练时，添加高阶项。但这会引发新的问题，如果训练的足够多，那会产生过拟合现象，这时候很难对测试数据有更好的泛化性。如果训练的不够，又会导致欠拟合情况，连训练集都无法准确预测。

如何正则化？
为了不过拟合，我们想要保持高阶项的系数足够小（又不想直接去除该项，因为高阶项或多或少有一定影响），引入一个惩罚项，称为正则化项，使得模型相对简单。

为何正则化能减小某一项的影响？
我们通过设置正则化参数$\lambda$，该值设得越大，就对其特征${\theta }_j$惩罚程度越大，使其特征${\theta }_j$的影响越小。
（这是由于，训练时有正则化项，预测时没有，所以${\theta }_j$的值小了，影响小了）
注：惩罚过大，可能出现欠拟合

---

关键点

（我们不对j=0对应的${\theta }_0$作惩罚，因为${\theta }_0$项的$x_0=1$，没有必要惩罚）

线性回归的正则化：
代价函数：
$$J(\theta )=\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^i{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2]$$
更新系数：
$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}(j=0) \\ {\theta }_j:={\theta }_j-\alpha [\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{\theta }_j] \\ :={\theta }_j(1-\lambda \frac{\lambda }{m})-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}(j=1,2,...,n) \end{gathered}$$
（其中，$\lambda {\sum }_{j=1}^n{\theta }_j^2$就是正则化参数regularization parameter）

逻辑回归的正则化：
代价函数：
$$J(\theta )=-[\frac{1}{m}\sum _{i=1}^m{y}^{i}log{h}_{\theta }(x^{(i)})+(1-y^i)log(1-h_{\theta }(x^i))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$
更新系数：
$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}(j=0) \\ {\theta }_j:={\theta }_j-\alpha [\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{\theta }_j](j=1,2,3,...,n) \end{gathered}$$
（其中，$\frac{1}{2m}\lambda {\sum }_{j=1}^n{\theta }_j^2$就是正则化参数regularization parameter）

---