过拟合、欠拟合

过拟合是指在训练集上误差小，测试集上误差大；欠拟合是指在训练集和测试集上误差都大。

过拟合解决办法：
• 增加训练数据（增加样本会降低模型方差）
• 降低模型复杂度
• 增加正则化参数
• 采用集成学习
• 使用dropout
• 提前停止
• BatchNormalization

欠拟合解决办法：
• 增加特征
• 提高模型复杂度
• 减小正则化系数

过拟合，高方差，低偏差
欠拟合，低方差，高偏差

要搞清楚原因，只需了解清楚方差和偏差的概念：
方差： 方差是描述模型每次输出结果与模型输出的期望之间的误差，描述的是模型的稳定性，反映输出值的波动情况
偏差： 偏差描述模型输出结果与真实值之间的误差，描述模型的拟合程度