![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
搬用工tyler
这个作者很懒,什么都没留下…
展开
-
神经网络优化常用技巧
数据有关数据增强数据集分布平衡先在小数据集上训练,看是否过拟合,过拟合了可以说明模型没问题模型结构增加或减少模型层次考虑BN层考虑Dropout层Fine-Tuning技术,对一些成熟网络微调优化算法SGD(随机梯度下降)通常训练时间更长,最终效果更好,但需要好的初始化和Learning rate需要训练较深较复杂的网络且需要快速收敛时,推荐使用AdamAdagr...原创 2020-03-20 15:45:46 · 182 阅读 · 0 评论 -
过拟合解决方式及原理
降低模型复杂度减小迭代次数数据增强正则化批归一化通过规范化手段,把每层神经网络任意神经元的输入值的分布强行拉回到均值为0,方差为1的标准正态分布,对数据分布增加约束即一定程度破坏了原来的数据分布,相当于增加了噪声,所以缓解过拟合。使用bn后可以取消dropout和L2Dropout...原创 2020-03-20 15:17:56 · 212 阅读 · 0 评论 -
梯度消失解决方式及原理
梯度消失解决方式及原理解决梯度消失都围绕了求导计算,在此汇总了一些比较容易理解的,列举如下:resnet:linkbn:linklstm:linkrelu激活函数原创 2020-03-19 18:26:11 · 480 阅读 · 0 评论