Machine Learning- overfitting (Andrew Ng 课程总结-过拟合)

根据训练样本建立的预测模型通常有三种情况：欠拟合（underfitting）、有效拟合、过拟合（overfitting）.在建立预测模型时，通常会遇到过拟合的情况。

过拟合（Overfitting）

1. 定义：预测模型可以很好的预测训练集（training set）中的数据, 然而却不能很好的预测新实例（new  data).

2.解决方案：

   （a）减少特征项。可以通过人工的方式选取用于预测模型的特征项，也可以通过采用特征选择算法进行特种选择

    （b）正则化参数（regularization of feature values/magnitude）。