过拟合问题（以及如何正则化）

目录

一、过拟合定义 

 二、调试和诊断（正则化线性回归）

1、方法一是减少选取变量的数量

2、方法二是正则化

3、方法二的具体做法

三、正则化逻辑回归

1、正则化的代价函数

 2、正则化逻辑回归函数的梯度下降算法

3、 正则化逻辑回归函数的高级优化算法

---

一、过拟合定义 

更好的拟合训练集，但是泛化能力较弱，泛化是指应用到新样本的能力。

 二、调试和诊断（正则化线性回归）

1、方法一是减少选取变量的数量

2、方法二是正则化

即保存所有变量，但是减少量级或者参数θ_j的大小；因无法选择缩小特定的参数，只可选择缩小所有的参数，即将代价函数改变如下：

 注：λ是用来平衡等式右边两个式子，从而更好地去拟合训练集的目标，若λ设立过大，所有参数都趋于0，则假设模型会欠拟合。

3、方法二的具体做法

 （1）仍利用梯度下降进行拟合，在原本的θj减去（学习率*偏导）的基础上再减去变量参数的偏导

注：通常学习率α很小，而m很大，所以（1-αλ/m）是一个接近于1的数，θ*（1-αλ/m）即是将θ向0的方向缩小了一点点，θj变小了一点点，进而θj的平方范数变小了

 （2）用正规方程，首先建立一个设计矩阵X

不可逆问题（选学） 

三、正则化逻辑回归

1、正则化的代价函数

 2、正则化逻辑回归函数的梯度下降算法

 

3、 正则化逻辑回归函数的高级优化算法