四图秒懂BN、LN和IN

原文地址

DL常见的三大网络类型，CNN、RNN和GAN，CNN用于CV领域较多，RNN则用于NLP方向较多，GAN就比较特殊，娱乐向的CV。而其中，最常用、最高效的三个技术点就是BN、LN和IN了，他们是三种网络的典型代表作。

1、BN（BatchNormalization）

看图说话。

我们假设有一批图像的feature maps传入网络中（如上）。其中，N表示batch_size，9*9表示图像的大小，5表示channel。

BN做了一件什么事呢。

（1）把不同batch_size的同一个channel的feature map进行求均值，得到mean

（2）把不同batch的同一个channel的feature map进行求标准差，得到std

（3）最后对每一个channel的每一个feature map减去对应channel的mean，再除以std，就得到了新的N*9*9*5的feature maps

是不是很简单！

看不明白，ok，换个更加具象的说法：

（1）咱们假设“蓝绿粉黄紫”分别对应通道“12345”，a0——e0表示该批的第一梯队图像数据，a0——an表示该批有n个梯队

（2）首先：所有梯队的“蓝色通道”（也就是通道1），给出你们的平均值（mean）（注意这个平均值，是所有元素之和 / 元素个数。如上是9*9，则均值就是 (蓝色梯队的81个方格的值之和 + 绿色梯队的81个方格的值之和 + 粉色梯队的81个方格的值之和 + 黄色梯队的81个方格的值之和 + 紫色梯队的81个方格的值之和) / (81 * N) ）

（3）接着：所有梯队的“蓝色通道”（通道1），给出你们的标准差（std）。

（4）然后：所有梯队的“蓝色通道”（通道1），把你们的数值“减去”mean，再“除以”std，然后再归队！

（5）最后：所有梯队的“蓝色通道”（通道1），我给你们一个gamma，你们把你们的结果乘上这个值；然后我再给你们一个beta，你们把跟gamma乘完以后的值，加上这个值，最终结果报给我！

（6）绿色粉色黄色紫色通道的任务跟蓝色通道一样。

（7）OK，大家开始吧！

于是，BN的任务就完成了！这就是BN！

2、LN

理论上的LN！！！

理论上的LN！！！

理论上的LN！！！

好，各位，刚才的任务完成了，我们进行下一项任务，名叫：LN。。。

（1）第一梯队的所有通道的第一列，听清楚了，是第一列，给到我你们的均值（mean）

（2）给完以后，给到我你们的标准差（std）

（3）然后：把你们的数值减去mean，再除以std

（4）接着我会给你们一个gamma，把结果乘上去；还有一个beta，加上去

（5）OK，第一梯队的所有通道的第一列，给我最终结果。

（6）接下来，第一梯队的所有通道的其他列，按照第一列的步骤，开始！

（7）其他梯队，按照第一梯队的流程，GO！

实战中的LN！！！

实战中的LN！！！

实战中的LN！！！

（1）第一梯队的所有通道的第一列的第一行，听清楚了，是第一列的第一行，给到我你们的均值（mean）

（2）给完以后，给到我你们的标准差（std）

（3）然后：把你们的数值减去mean，再除以std

（4）接着我会给你们一个gamma，把结果乘上去；还有一个beta，加上去

（5）OK，第一梯队的所有通道的第一列的第一行，给我最终结果。

（6）接下来，第一梯队的所有通道的第一列的其他行，按照第一列第一行的步骤，开始！

（7）接下来，第一梯队的所有通道的其他列，按照第一列步骤，开始！

（8）其他梯队，按照第一梯队的流程，GO！

这就是（才是实战中的）LN

3、IN

好，接下来是最后一个任务了，IN

（1）第一梯队，给出你们所有通道所有行所有列的均值（mean）

（2）第一梯队，给出标准差（std）

（3）乘上gamma和beta，在给到我

（4）其他梯队，跟上！

（5）任务完成，开饭！

这就是IN