![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习笔记
怠惰的金枪小鱼干
这个作者很懒,什么都没留下…
展开
-
Batch Normalization的作用
详解深度学习中的Normalization,BN/LN/WNhttps://zhuanlan.zhihu.com/p/33173246原创 2021-01-07 20:48:25 · 97 阅读 · 0 评论 -
Batch_Size的影响
Batch_Size的影响引言总结参考文献引言在深度学习模型训练时,一次性将所有数据用于训练很明显是不靠谱的,因为算力跟不上;一次用几条数据也是不靠谱的,因为数据小可能走的方向会随机性更大,每次修正方向以各自样本的梯度方向修正,导致更新点横冲直撞,无法完成收敛。所以在训练的时候一般都是一个batch一个bath的来,这样学习到的分布才是可靠的,那么batch的大小对训练有啥影响呢?总结合理范围内增大batch_size的好处内存利用率提高了,大矩阵乘法的并行化效率提高跑完一次epoc原创 2020-12-25 16:54:27 · 601 阅读 · 0 评论