机器学习笔记4：正则化（Regularization）

机器学习笔记4：正则化（Regularization）

Andrew Ng机器学习课程学习笔记4

---

过拟合与欠拟合
　　线性拟合时，有两种拟合效果不好的情况，分别是过拟合与欠拟合。
　　过拟合(overfitting)，也叫高方差(variance)。主要是拟合曲线过于弯曲，虽然很多训练的数据集都在拟合曲线上，但是，对于新的测试集数据预测正确的概率不高。一般特征参数过多的时候可能会出现情况。比如用高阶函数去拟合低阶函数的数据。
　　欠拟合(underfitting)，也叫高偏差(bias)。主要是拟合曲线过于平直，不能适应训练集的变化。比如用低阶函数去拟合高阶函数的数据。
　　对于过拟合，解决办法有：
　　1.减少特征参数的数量。
　　2.正则化
　　正则化时，我们将保留所有的特征变量，但是会减小特征变量的数量级，使得特征变量的影响小一些。

loss function
　　线性回归的正则化损失函数，就是在原线性拟合的损失函数上增加了一项，具体实现如下：
$$J(\theta )=\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-$$