AdaBN(Adaptive Batch Normalization)使用

最近在查看论文《Towards Flops-constrained Face Recognition》时，发现作者使用了AdaBN的技巧，我很好奇AdaBN是什么操作，为甚么没有看见相应的博文介绍，下面是我自己整理的资料。

---

---

论文链接：https://arxiv.org/pdf/1603.04779.pdf

原文中的算法：

 通俗理解：

把model设成训练模式，然后是做前向计算，不做反向更新，相当于只更新global mean和global variance；

将所有测试样本跑一遍，得到的最终的BN层的参数用于test测试样本；

注意：有人建议做迁移时，要将global mean 和 global var 初始成 0 （因为涉及到batchsize的大小）；

使用场景：

训练样本分布和测试样本分布不一致，模型迁移学习时使用；

参考：

1.https://www.zhihu.com/question/340407548/answer/795027833

2.http://www.doc88.com/p-9932882215443.html

附赠信息：

原作者：https://www.zhihu.com/people/naiyan-wang/answers，关于“论文投稿被拒2次，再找第三家的时候突然想放弃怎么办？”的回答；