如何防止过拟合?二分类转换到多分类的方法?梯度消失/爆炸

  1. 数据增强:让模型看见尽可能多的例外情况。方法:从源头获取更多数据,对图像进行平移,翻转,缩放,亮度变化等
  2. 使用简单的模型:减少网络的层数,神经元个数,等。
  3. 提前结束训练。当时间较短时,网络权直较小,激活函数工作在线性区,当训练时间越长,部分权直越大。
  4. 正则化限制权直:L1,L2
  5. 增加噪声:在输入中加噪声,噪声会按照权直的平方放大。在权值上加噪声:0均值高斯分布初始化权直。对网络的响应加噪声:输出随机:导致训练更慢,但是效果好。
  6. 结合多种模型,求平均值:bagging:用不同的模型拟合不同的训练集,以随机森林为例,训练了一堆不关连的决策树,较慢,因为神经网络复杂。 boosting:训练简单的神经网络,加权平均输出 ; dropout
  7. 贝叶斯方法
  8. bn 不但能加快训练速度,还能防止过拟合
  9. PCA(Principal componet analysis)分析feature importance,减少features的数量
  10. 隐藏层输出用于预测
  11. 以上原因见https://zhuanlan.zhihu.com/p/30951658
  12. 参考https://www.zhihu.com/question/59201590
    8.这里写图片描述
阅读更多
个人分类: 深度学习
上一篇语义分割发展史
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭