过拟合问题
第一个模型是一个线性模型,欠拟合,不能很好地适应我们的训练集;第三个模型是一
个四次方的模型,过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看
出,若给出一个新的值使之预测,它将表现的很差,是过拟合,虽然能非常好地适应我们的
训练集但在新输入变量进行预测时可能会效果不好;而中间的模型似乎最合适。
代价函数
上面的回归问题中如果我们的模型是:
ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥22 + 𝜃3𝑥33 + 𝜃4𝑥44
我们可以从之前的事例中看出,正是那些高次项导致了过拟合的产生,所以如果我们能
让这些高次项的系数接近于 0 的话,我们就能很好的拟合了。
所以我们要做的就是在一定程度上减小这些参数𝜃 的值,这就是正则化的基本方法。我
们决定要减少𝜃3和𝜃4的大小,我们要做的便是修改代价函数,在其中𝜃3和𝜃4 设置一点惩罚。
这样做的话,我们在尝试最小化代价时也需要将这个惩罚纳入考虑中,并最终导致选择较小
一些的𝜃3和𝜃4。
修改后的代价函数如下:
min𝜃 1/2𝑚 [∑ (ℎ𝜃(𝑥(𝑖)) − 𝑦(𝑖))2 + 1000𝜃32 + 10000𝜃42]
通过这样的代价函数选择出的𝜃3和𝜃4 对预测结果的影响就比之前要小许多。假如我们
有非常多的特征,我们并不知道其中哪些特征我们要惩罚,我们将对所有的特征进行惩罚,
并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的
能防止过拟合问题的假设::
𝐽(𝜃) = 1/2𝑚 [∑ (ℎ𝜃(𝑥(𝑖)) − 𝑦(𝑖))2 + 𝜆 ∑ 𝜃𝑗 𝑛 2 𝑗=1 ]
其中𝜆又称为正则化参数(Regularization Parameter)。
注:根据惯例,我们不对𝜃0 进行惩罚。经过正则化处理的模型与原模型的可能对比如下图所示
所以我们要注意的便是选择一个正确而又恰当的正则化参数。
正则化线性回归
这些是我摘下来的前辈的笔记上的,感觉已经很明了了。
神经网络
照例白嫖
-
模型表示
-