机器学习之四-正则化

一、概述

在前面的线性回归和逻辑回归都，都用到非线性的拟合，看似特征多项式的阶次越高（即特征值数量越多），拟合程度越好，但是，拟合程度越好的就真的好吗。

1.1过度拟合

下面看一个线性回归的例子

上图中的第一个图是不成功的拟合，第三个图就叫做是过度拟合，这样看来，如果把过度拟合的用来判断的话，会存在很大的误差。这样，过度拟合就是如果我们有太多的特征值，在训练的时候能达到很高的拟合度，但是用来预测的时候效果却不好。

避免过度拟合的办法有两种：

1.减少特征量的数量

2.正则化（regularization）

二、正则化（regularization）

由上面那个例子看到，怎么避免过度拟合呢？我们只有把θ3和θ4设置城足够的小的值，就近似于忽略掉了 x^3和 x^4项

那么怎么实行正则化呢：

可以理解为在使得 θi最小的情况下的最好的拟合。

那么在梯度下降中，θj的迭代表达式为：

相当于对于每个θj 进行了缩小比例