机器学习笔记——正则化（Regularization）对偏差(bias)和方差(variance)的影响

正则化

正则化的概念参考这里：机器学习笔记——正则化（Regularization）

正则化剖析

通过这个图片看一下：

式中λ /2m 是添加的是正则化参数，其中λ 对回归函数的影响见图中。过大或者过小都是不行的。

如何选择λ ？

参看下图：

选择不同的λ 分别进行测试，注意λ选择的时候，一般以2倍的步长增长。
分别计算出对应的J(cv)θ，选择误差最小的，比如图中的选择为θ^5，最后采用测试集验证 J(test)θ。

依据最小化成本函数的过程，看一下λ 与偏差和方差的关系：

解读：
当 λ 过大时，此时高次项的存在感被减小，使得成本函数趋于低次项(比如直线)，此时出现欠拟合情况，也就是偏差(bias)过大;
当 λ 过小时，此时高次项的存在感被拉大，使得成本函数趋于高次项(比如4次多项式)，此时出现过拟合情况，也就是方差(variance)过大;
此时，我们可以发现，是存在一个 λ 值，使得方差(variance)和偏差(bias)都是“刚刚好”的情况.