![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
搬用工tyler
这个作者很懒,什么都没留下…
展开
-
神经网络优化常用技巧
数据有关 数据增强 数据集分布平衡 先在小数据集上训练,看是否过拟合,过拟合了可以说明模型没问题 模型结构 增加或减少模型层次 考虑BN层 考虑Dropout层 Fine-Tuning技术,对一些成熟网络微调 优化算法 SGD(随机梯度下降)通常训练时间更长,最终效果更好,但需要好的初始化和Learning rate 需要训练较深较复杂的网络且需要快速收敛时,推荐使用Adam Adagr...原创 2020-03-20 15:45:46 · 176 阅读 · 0 评论 -
过拟合解决方式及原理
降低模型复杂度 减小迭代次数 数据增强 正则化 批归一化 通过规范化手段,把每层神经网络任意神经元的输入值的分布强行拉回到均值为0,方差为1的标准正态分布,对数据分布增加约束即一定程度破坏了原来的数据分布,相当于增加了噪声,所以缓解过拟合。 使用bn后可以取消dropout和L2 Dropout ...原创 2020-03-20 15:17:56 · 212 阅读 · 0 评论 -
梯度消失解决方式及原理
梯度消失解决方式及原理 解决梯度消失都围绕了求导计算,在此汇总了一些比较容易理解的,列举如下: resnet:link bn:link lstm:link relu激活函数原创 2020-03-19 18:26:11 · 477 阅读 · 0 评论