Deep Learning Notes(2):overfit原因与办法

overfit的原因是参数个数>训练数据个数
1 参数的数量由特征个数与非线性拟合的要求决定。
如有n个特征，如果进行非线性拟合，则参数个数大大增加。

$$g(\theta_0 +\theta_1 x_1 +\theta_2 x_2 \\ +\theta_3x_1x_2+\theta_4x_1^2x2 \\ +\theta_5x_1^3x_2+\theta_6x_1^2x_2 +\dots)$$
只进行2阶拟合，所需的参数个数为
$$O(n^2)=\frac{n^2}{2}$$

如果要进行3阶拟合，参数的个数就更多了。

2 还有一种原因是问题的特征个数本身就很多。如图像识别。

有些参数的非线性组合不重要，可以省略。
神经网络的作用是通过神经网络自动学习，提取出有价值的项，从而减少了特征的数量。

3 在特征数量确定的情况下，通过regularition减少参数的值，是常用解决overfit方法。