线性问题及神经网络介绍

过拟合问题

第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一
个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看
出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的
训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。

代价函数

上面的回归问题中如果我们的模型是：
ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥22 + 𝜃3𝑥33 + 𝜃4𝑥44
我们可以从之前的事例中看出，正是那些高次项导致了过拟合的产生，所以如果我们能
让这些高次项的系数接近于 0 的话，我们就能很好的拟合了。
所以我们要做的就是在一定程度上减小这些参数𝜃 的值，这就是正则化的基本方法。我
们决定要减少𝜃3和𝜃4的大小，我们要做的便是修改代价函数，在其中𝜃3和𝜃4 设置一点惩罚。
这样做的话，我们在尝试最小化代价时也需要将这个惩罚纳入考虑中，并最终导致选择较小
一些的𝜃3和𝜃4。
修改后的代价函数如下：
min𝜃 1/2𝑚 [∑ (ℎ𝜃(𝑥(𝑖)) − 𝑦(𝑖))2 + 1000𝜃32 + 10000𝜃42]
通过这样的代价函数选择出的𝜃3和𝜃4 对预测结果的影响就比之前要小许多。假如我们
有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，
并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的
能防止过拟合问题的假设：：
𝐽(𝜃) = 1/2𝑚 [∑ (ℎ𝜃(𝑥(𝑖)) − 𝑦(𝑖))2 + 𝜆 ∑ 𝜃𝑗 𝑛 2 𝑗=1 ]
其中𝜆又称为正则化参数（Regularization Parameter）。
注：根据惯例，我们不对𝜃0 进行惩罚。经过正则化处理的模型与原模型的可能对比如下图所示

所以我们要注意的便是选择一个正确而又恰当的正则化参数。

正则化线性回归

这些是我摘下来的前辈的笔记上的，感觉已经很明了了。

神经网络

照例白嫖

• 模型表示

•