overfit的原因是参数个数>训练数据个数
1 参数的数量由特征个数与非线性拟合的要求决定。
如有n个特征,如果进行非线性拟合,则参数个数大大增加。
g(θ0+θ1x1+θ2x2+θ3x1x2+θ4x21x2+θ5x31x2+θ6x21x2+…)
只进行2阶拟合,所需的参数个数为
O(n2)=n22
如果要进行3阶拟合,参数的个数就更多了。
2 还有一种原因是问题的特征个数本身就很多。如图像识别。
有些参数的非线性组合不重要,可以省略。
神经网络的作用是通过神经网络自动学习,提取出有价值的项,从而减少了特征的数量。
3 在特征数量确定的情况下,通过regularition减少参数的值,是常用解决overfit方法。