![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
shaoyande
这个作者很懒,什么都没留下…
展开
-
BN层理解
bn层计算的均值和方差是channel的输入数据是nchw,求得的均值和方差均是长度为c的向量mini-batch指的是一个batch的所有样本对应通道组合成一个minibatch,1个nchw的数据有c个mini-batch一个mini-batch在一起进行求均值和方差HW的归一化,求出NC个均值与方差,然后N个均值与方差求出一个均值与方差的Vector,size为C, 即相同通道的一个mini_batch的样本求出一个mean和variance每次迭代时采用的是滑动平均方式更新,.原创 2020-06-18 18:47:42 · 1220 阅读 · 0 评论 -
指数加权平均(滑动平均)
用到的地方:带动量的sgd,bn当经过n次加权平均后,当权重衰减到1/e时,就说平均了n次的结果原创 2020-06-18 18:17:27 · 617 阅读 · 0 评论 -
神经网络选择交叉熵而非MSE原因理解
原创 2020-06-17 16:14:18 · 229 阅读 · 0 评论