weixin_39680889的博客

原创 BN,IN,LN,GN,SWN的区别与联系

查过很多次，但是一旦一段时间过去后，就会忘记，还是自己做个总结比较好。 首先Normalization做的是规范化，假设原数据是多维向量，符合某种均值与方差的正态分布，那么规范化就是在多维向量的某些维度上，将向量正态分布的均值与方差变为0与1。不同的normalization的区别在于均值与方差计算方式的不同，将均值u与方差d计算出来后，对多维向量的每个元素进行如下操作：(x-u)/d。 均值...