机器学习系列14：偏差与方差

在训练机器学习模型中，结果不能被很好地预测通常是因为高偏差（欠拟合）或高方差（过拟合）。把交叉验证集的代价函数和测试集的代价函数画在一个图像中：

左面红色部分为高偏差（欠拟合），右边红色部分为高方差（过拟合）。

 

对于如下模型，线性回归正则化的代价函数为：

其中蓝色框为正则化项，λ 越大，代表对参数的惩罚就越大。

 

训练集代价函数  J_train (θ) 、交叉验证集代价函数 J_cv (θ) 和测试集代价函数 J_test (θ) 不需要加正则化项，如下：

 

对于正则化代价函数，通过不同的 λ 值计算出参数集 θ，然后计算出相应的交叉验证集代价函数 J_cv (θ) 和测试集代价函数 J_test (θ)。

将它们画在一张图像中：

你会发现，随着 λ 增加， J_test (θ) 在不断增大，也就是说拟合程度越来越差。λ 刚开始增加时， J_cv (θ) 先减小，表示正则化优化了多项式的拟合，泛化程度较好；但随着 λ 不断增加，多项式对数据的拟合也会越来越差。通过这个图像，就可以找出最佳拟合的位置。

 

 

ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。如果想要一起学习机器学习，可以关注微信公众号「SuperFeng」，期待与你的相遇。