机器学习—算法性能—诊断法(高偏差、高方差、过拟合问题+典型例题)

一、过拟合、欠拟合

第一个模型是一个线性模型，不能很好地适应我们的训练集，对于测试集也不能很好的预测，这就是欠拟合在训练集上对于的是高偏差、低方差；

第三个模型是一个四次方的模型，过于强调拟合原始数据，而对于新的预测数据造成大的偏差，这就造成了过拟合现象，在训练集上对于的是低偏差、高方差。

中间的模型似乎最合适。

二、机器学习诊断、调试学习算法

1、多项式次数d的选择

如图，通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张图表，由此可以看出：

对于训练集：当 d 较小时，模型拟合程度更低，误差较大；随着 d 的增长，拟合程度提高，误差减小。
对于交叉验证集：当 d 较小时，模型拟合程度低，误差较大；但是随着d的增长，误差呈现先减小后增大的趋势。转折点是模型开始过拟合训练数据集的时候。

结论：
越高次数的多项式模型越容易产生过拟合现象，
而多项式太少的话，又造成欠拟合现象。

2、正则化λ的选择

当lamda较小时，训练集误差较小（过拟合），而交叉验证集误差较大
随着lamda增加时，训练集误差较大（欠拟合），而交叉验证集误差则是先减少后增加。

3、实例数量m的选择

作为例子，尝试用一条直线来适应下面的数据，可以看出，无论训练集有多么大，误差都不会有太大改观
也就是说在高偏差/欠拟合的情况下，增加数据到训练集不一定能有帮助。

假设使用一个非常高次的多项式模型，并且正则化非常小，可以看出，当交叉验证集误差远大于训练集误差时，往训练集增加更多数据可以提高模型的效果。
也就是说在高方差/过拟合的情况下，增加更多数据到训练集，可能可以提高算法效果。

4、支持向量机相关内容(支持向量机那部分详细讲述)

三、改进学习算法方法总结

四、典型例题

1、以下哪个不是解决欠拟合的方法
A: 增加多项式的特征
B: 减少特征数量
C: 增加特征数量
D: 减少正则化程度
正确答案： B

2、假设用高斯核训练一个SVM分类器，发现SVM欠拟合数据集。那么，应该增加或减少C?或者增加或减少σ?
A: 应该增加C,或者增加σ.
B: 应该减少C,或者减少σ.
C: 应该增加C,减少σ.
D: 应该减少C,增加σ.
正确答案： C

3、机器学习训练时，针对过拟合问题，应该如何处理
A: 增加更多的样本
B: 正则化，保留所有的特征，但是减少lamda参数的大小
C: 增加更多的特征
D: 正则化，保留所有的特征，增大lamda参数的大小
正确答案： D

4、假设一个含有高斯核函数的SVM处理分类问题时发生了欠拟合，若逐渐增加sigma,会发生什么？
A: 由欠拟合逐渐转变为拟合
B: 欠拟合会变得更严重
C: 欠拟合保持不变
D: 过拟合保持不变
正确答案： B

5、在机器学习中，什么情况下会导致过拟合（高方差）
A: C较大（λ较小）的时候
B: C较小（λ较大）的时候
C: C为零的时候
D: 以上都不对
正确答案： A

6、大数据：解决高偏差/欠拟合的方法是（）
A: 尝试获得更多的特征
B: 尝试增加正则化程度λ
C: 尝试增加多项式特征
D: 尝试减少正则化程度λ
正确答案： ACD

7、关于多项式次数d与代价函数误差关系,下列说法中描述错误的是（）（其中d代表多项式的次数）
A: 对于训练集：当 d 较小时，模型拟合程度更低，误差较大；随着 d 的增长，拟合程度提高，误差减小
B: 对于训练集：当 d 较小时，模型拟合程度更高，误差较大；随着 d 的增长，拟合程度提高，误差减小
C: 对于训练集：当 d 较小时，模型拟合程度更低，误差较大；随着 d 的增长，拟合程度提高，误差增大
D: 对于训练集：当 d 较小时，模型拟合程度更高，误差较大；随着 d 的增长，拟合程度降低，误差增大
正确答案： BCD

8、过拟合的时候，会出现什么情况
A: 模型对训练数据的预测结果与真实值之间的误差较大
B: 模型对测试数据的预测结果与真实值之间的误差较大
C: 模型对训练数据的预测误差非常小
D: 模型对测试数据的预测结果与真实值之间的误差较小
正确答案： BC

9、SVM采用高斯核函数时，若C较小，容易发生以下哪些现象
A: A.欠拟合
B: B.低偏差，高方差
C: C.高偏差，低方差
D: D.过拟合
正确答案： AC

10、解决高方差/过拟合的方法是（）
A: 获得更多的训练实例
B: 尝试减少特征的数量
C: 尝试增加正则化程度λ
D: 尝试减少正则化程度λ
正确答案： ABC