weixin_42775779的博客

原创 各种Normalization总结

参考文章：深度学习中的Normalization总结 简介 BN（Batch Normalization）于2015年由 Google 提出，开创了Normalization 先河；2016年出了LN（layer normalization）和IN（Instance Normalization）；2018年也就是今年，Kaiming提出了GN（Group normalization），成为了ECCV 2018最佳论文提名。本文主要介绍这四种。 独立同分布（i.i.d） 首先我们需要知道，机器学习