深度学习中的五种归一化（BN、LN、IN、GN和SN)

最新推荐文章于 2024-03-28 17:55:17 发布

秋水墨色

最新推荐文章于 2024-03-28 17:55:17 发布

阅读量1.8k

点赞数 1

分类专栏：计算机视觉（OCR+目标检测+目标跟踪）+（优化+部署）文章标签：神经网络深度学习机器学习

本文链接：https://blog.csdn.net/sdw5723118/article/details/120012349

版权

计算机视觉（OCR+目标检测+目标跟踪）+（优化+部署）专栏收录该内容

42 篇文章 19 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了深度学习中的五种归一化技术，包括LRN、BN（Batch Normalization）、LN（Layer Normalization）、IN（Instance Normalization）和GN（Group Normalization）。这些技术有助于加速网络收敛、改善梯度弥散和提高泛化能力。BN通常在全连接层和卷积层后应用，而LN适合RNN，IN常用于风格迁移，GN则介于LN和IN之间。文章还提到了Switchable Normalization，允许网络自适应选择合适的归一化方法。

摘要由CSDN通过智能技术生成

局部响应归一化（Local Response Normalization, 即LRN）首次提出于AlexNet。LRN的创意来源于神经生物学的侧抑制，被激活的神经元会抑制相邻的神经元。用一句话来形容LRN：让响应值大的feature map变得更大，让响应值小的变得更小。

其主要思想在于让不同卷积核产生feature map之间的相关性更小，以实现不同通道上的feature map专注于不同的特征的作用，例如A特征在一通道上更显著，B特征在另一通道上更显著。

神经网络学习过程的本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度。

如果我们没有做归一化处理，那么每一批次训练数据的分布不一样，从大的方向看，神经网络则需要在这多个分布中找到平衡点，从小的方向上看，由于每层网络输入数据分布在不断变化，这也会导致每层网络在找平衡点，显然，神经网络就很难收敛了。当然，如果我们只是对输入的数据进行归一化处理（比如将输入的图像除以255&#x