吴恩达机器学习之正则化

机器学习中在测试数据集上表现良好的能力被称为泛化，机器学习的目标是泛化误差足够低。
训练过程，主要有2个挑战。欠拟合，指模型不能在训练集上获得足够低的误差。过拟合，指训练误差和测试误差之间的差距过大，即训练集表现很好，但泛化能力较差。通常假设函数参数过多，易导致过拟合。下图是线性回归中欠拟合，过拟合例子。

数据集符合一元二次方程，如中间的图。但用直线拟合，就会出现左图欠拟合；用4次方程拟合，就会出现右图的过拟合。
因此，解决过拟合有2种方法，一是减少变量数据，但往往我们不容易确定要减少哪些变量，而且减少变量，可能会导致一部分信息丢失。另外一种方法是对代价函数正则化处理，使参数值(权重)较小，从而简化假设模型。
因此在正则化里，我们要做的事情，就是减小我们的代价函数（例子中是线性回归的代价函数）中所有的参数值，因为我们并不知道是哪一个或哪几个要去缩小。因此，我们需要修改代价函数，在其后面添加一项，从而收缩了每个参数。
对线性回归来说，其代价函数正则化公式如下：

方括号里加号后面的项即为正则化项。其中 λ 是正则化参数，是一个比较大的数，从而在最小化代价函数时，获得的假设函数参数值也较小。 λ 需要平衡两个目标，一是训练集拟合良好；二是保持参数值较小，防止过拟合。因此，选择一个合适的正则化参数很重要，有一些方法会自动调整λ。
之前的博文介绍了线性回归2种解法：梯度下降法与正规方程法，这里简要说明一下其正则化处理。
梯度下降法，如下：

其中，学习率后面是代价函数的偏导数项。
正规方程，如下：

第一个公式是未正则化解形式，第二个公式是正则化后解形式。未正则化，求解过程可能存在矩阵不可逆，即奇异矩阵，导致不收敛。但正则化，一定程度上可以避免这种现象出现。