AMiner推荐论文：CrossNorm and SelfNorm for Generalization under Distribution Shifts

论文链接：https://www.aminer.cn/pub/617b928b6750f842fb7c54a5?f=cs
文章的两个方法分别对应两个目标：

1. 扩增训练数据分布。传统的 normalization 都是为了使得训练更加稳定和快速，那么作者是否能用 normalization 的方法进行数据的增强呢？答案是肯定的。一般来说，作者认为 RGB 图像的均值和方差代表了他的风格信息，交换他们的均值和方差不会对类别标签产生影响。CrossNorm 要做的事情就是在训练中交换特征图 channel-wise 的均值和方差，使得模型对风格变化更加鲁棒。
2. 减小域分布偏差。即使有了 1，模型依然会遇到完全没有见过的风格。一种可行的方式即减小训练和测试数据之间的分布。文章发现，作者可以通过调整 RGB 图像的均值和方差来缩小这种风格的差异。而 SelfNorm 的目标就是使用 attention 机制来调整 channel-wise 的均值和方差。
   AMiner,让AI帮你理解科学！https://www.aminer.cn