过拟合

原因

样本数据问题

样本数量太少;
抽样方法错误，抽出的样本数据不能有效足够代表业务逻辑或业务场景。比如样本符合正态分布，却按均分分布抽样，或者样本数据不能代表整体数据的分布;
样本里的噪音数据干扰过大;

模型问题

模型复杂度高 、参数太多;
训练过度；
权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征.

解决方式

数据方面

增加训练样本数量，对样本进行降维，添加验证数据
抽样方法要符合业务场景
清洗噪声数据

模型或者训练方面

控制模型复杂度，优先选择简单的模型，或者用模型融合技术。
利用先验知识，添加正则项。L1正则更加容易产生稀疏解、L2正则倾向于让参数w趋向于0.
交叉验证
不要过度训练，最优化求解时，收敛之前停止迭代。