《吴恩达机器学习》7 正则化

前言

前面已经学习了线性回归和逻辑回归的算法，我们也知道可以通过这些算法来训练我们的数据，从而得到一个比较靠谱的算法来预测未知的数据。但是这个模型在做机器学习的算法有时会出现过拟合（over-fitting）和欠拟合（under-fitting），这个章节来学习正则化的方法来避免或减少过拟合及欠拟合

一、过拟合和欠拟合

如下示第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的训练集，但在新输入变量进行预测时可能会效果不好，而中间的模型似乎最合适。

同样对于分类模型中也有这样的情况就以多项式理解， x 的次数越高，拟合的越好，但相应的预测的能力就可能变差。问题是，如果我们发现了过拟合问题，应该如何处理？

下面有两种这样的方法可以避免过拟合问题
① 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如 PCA）
② 正则化。 保留所有的特征，但是减少参数的大小（magnitude）

二、代价函数

那么针对于上述问题，我们要这么做才能减少过拟合的情况发生呢？上面的回归问题中如果我们的模型是：
h_θ(x) = θ₀ + θ₁x₁ + θ₂x₂ ² + θ₃x₃ ³ + θ₄x₄ ⁴
我们可以从之前的事例中看出，正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于 0 的话，我们就能很好的拟合了。而减少我们的参数θ的值就是我们的正则化的基本方法。要减少θ₃和θ₄的大小，我们要做的便是修改代价函数，在其中θ₃和θ₄设置一点惩罚。

那么上面的模型可以简化成下面的公式，其中λ又称为正则化参数（根据惯例，我们不对θ₀ 进行惩罚。）。对于正则化，我们要取一个合理的 λ的值，这样才能更好的应用正则化。

三、线性回归的正则化

对于线性模型我们知道有两种方法求解（梯度下降法和正规方程求解）

梯度下降法中我们要最小化代价函数就必须对每个θ求解偏导数，然后迭代每一次计算来求解最小的代价函数。可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令θ值减少了一个额外的值

四、Logistic回归的正则化

而对于Logistic回归的欠拟合问题，我们同样也给代价函数增加一个正则化的表达式，得到代
价函数：


而此时用梯度下降法来求解方程，看上去同线性回归一样，只不过是 ℎ_θ(x) = θ^Tx 而已

总结

以上就是《吴恩达机器学习》系列视频 正则化 的内容笔记，以便后续学习和查阅。