正则化（Regularization）

一、过度拟合问题

现象描述：假设有很多特征，通过学习得到的假设可以很好的适应训练集（代价函数几乎为0），但是可能会不能推广到新的数据。

1.1 回归问题

①第一个模型：线性模型，欠拟合，不能很好的适应训练集。
②第三个模型：过拟合，过于强调拟合原始数据，丢失算法本质。虽然能非常好的适应训练集，但在新输入变量进行预测时可能效果不佳。

1.2 分类问题

1.3 处理

①丢弃某些特征，可以通过手工选择或使用模型选择的算法。
②正则化，保留所有特征，减少参数的大小。

二、代价函数

2.1 假设提出

以上述回归模型为例，式中高次项导致了过拟合的产生。
正则化基本方法：使高次项系数接近于0，即在一定程度上减小参数θ的值。

要减少θ3和θ4的大小，要修改代价函数，在θ3和θ4设置一点惩罚，在尝试最小化代价时也要将惩罚纳入考虑，最终选择较小一些的θ3和θ4。修改后的代价函数如下：

假如有非常多的特征且不知道哪些特征要惩罚，则对所有特征进行惩罚，让代价函数最优化的软件选择惩罚的程度，得到一个较为简单的能防止过拟合问题的假设：

其中λ称为正则化参数（Regularization Parameter）。
注：一般不对θ0进行惩罚
经过正则化处理的模型与原模型的可能对比如下图所示：

2.2 λ的选择

若选择的正则化参数λ很大，所有参数都会在一定程度上减小，当λ过大时，θ都会趋近于0，导致模型变成h_θ（x）=θ0，即上述红线所示情况，造成欠拟合。

三、正则化线性回归

3.1 正则化线性回归代价函数

3.2 梯度下降算法

其中 h_θ^(x) = θ^TX
当 j ≠ 0时，式子可更新为

变化：每次都在原有算法更新规则的基础上令θ值减少一个额外的值

3.3 正规方程求解正则化线性回归模型

原始

修改后

图中矩阵尺寸为（n+1）*（n+1）

四、正则化逻辑回归

4.1 正则化逻辑回归代价函数

4.2 梯度下降算法

其中h_θ^(x) = g（θ^TX）