过拟合是指模型在训练集上表现良好，但在未知数据上泛化能力差。常见于数据量小、网络复杂度高的情况。为了避免过拟合，可以采用dropout方法，它在训练过程中随机丢弃部分神经元，降低模型复杂度，提高泛化能力。dropout只在训练阶段使用，预测时不应用，有助于防止模型依赖特定神经元组合，增强模型的稳健性。
过拟合的定义：
在训练集上表现效果好，在交叉验证集上表现较差，也就是说在未知的样本上表现一般，泛化能力较差。
常常存在于数据少，数据网络深度长或者复杂（也就是参数多）的情况，导致过拟合问题。
出现过拟合的原因：
从图中可以看出，最左边是欠拟合的，中间是正好，最右边是过拟合的。
过拟合也就是说网络复杂，数据过于简单导致的。 我们常用的数据集常常分为训练集，验证集和测试集，
验证集的作用就是为了防止过拟合。。 如果只有训练集和测试集，训练好的数据准确率很高，到测试集的时候可能会存在准确率很低的情况。。
如何避免过拟合问题： （这个先留个概念，可以其他期再说。）
1. early stopping 在网络迭代收敛前停止，防止过度学习 。
2. 正则化 L1和L2正则
3.dropout
4.数据增强
#dropout的定义：
也就是整体的网络结构中“随机”丢弃一些神经元
最低0.47元/天 解锁文章
扫一扫
5530
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
