详说Normalization(Batch Normalization,Layer Normalization,Instance Normalization,Group Normalization)

最新推荐文章于 2024-07-20 16:58:57 发布

kuweicai

最新推荐文章于 2024-07-20 16:58:57 发布

阅读量2.4k

点赞数 4

分类专栏：深度学习深度总结文章标签： Batch Normalization Layer Normalization Weight Normalization Instance Normalization Group Normalization

本文链接：https://blog.csdn.net/kuweicai/article/details/100110593

版权

本文详细介绍了Normalization的几种方法，包括Batch Normalization、Layer Normalization、Weight Normalization、Instance Normalization和Group Normalization。Batch Normalization通过减小内部协变量转移加速网络训练，而Layer Normalization适用于RNN和小批量场景。Weight Normalization针对权重进行归一化，Instance Normalization在风格迁移任务中表现出色，而Group Normalization解决了Batch Normalization在小批量时的问题。

摘要由CSDN通过智能技术生成

详说各种 Normalization

Batch Normalization 是 Sergey 等人于2015年在 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 中提出的一种归一化方法。

在开始讨论之前，我们需要先探讨一个问题，对于深度神经网络而言，什么样的输入是一个好的输入，或者说什么样的输入可以又快又好的训练模型？通常我们希望输入的数据能够满足独立同分布，并且我们希望数据能分布在激活函数梯度较大的范围之内。可是在深度神经网络中，底层的参数更新会对高层的输入分布产生很大的影响，也就是说即使一开始我们的数据满足了要求，可是随着网络的传递，数据也会发生变化，不能满足要求。作者称这个现象叫 internal covariate shift。为了解决这个问题，作者提出了 Batch Normalization。