过拟合问题

过拟合：在训练集表现好，在测试集表现一塌糊涂。

常用方法：

• 数据，样本不够，如果现在的训练集只是所有样本空间的一个小小的部分，那么这个模型的泛化能力就非常差（边画图，边说）
• B 可以加正则项，L1，L2正则。L1还可以用来选择特征。因为L1的话会把某些不重要的特征压缩为0，相当于特征选择。因为（画图）L1约束是正方形的，经验损失最有可能和L1的正方形的顶点相交，L1比较有棱角。所以可以把某些特征压缩为0
• 神经网络中，dropout方法。就是每层网络的训练，随机的让一半神经元不工作。达到防止过拟合的目的
• 决策树中可以用剪枝操作。
• 决策树可以用Bagging 防止过拟合。