pytorch训练技巧-模型设计-Relu和BN的顺序问题

关于bn与relu的顺序的问题

关于bn和relu的相对顺序网上的见解不一致，但在resnet、mobilenetv2、detectron2、maskrcnn_benchmark见到的都是conv+bn+relu的顺序，没见过conv+relu+bn的顺序，遂感到很疑惑，于是上网上查了一下。

从数据饱和区的角度讲有比较好的讨论，即如果先进行relu，那么在bn的时候有些单元已经失活了，造成bn不稳定，影响模型性能；bn将数据分布进行标准化，使数据回到非饱和区，然后在经过relu可以控制激活的饱和程度。这里可以假设从conv出来的数据很大部分进入失活，那么先relu再bn的结果就不稳定了。因此应该将置于relu之前。

参考知乎的这个问题，也有提到从实验效果上看先relu再bn效果会更好一些，因为bn的作用就是对上层的输出进行归一化。

个人感觉还是偏向第一种，即conv+relu+bn。如果采用第二种方式，如果效果更好的话应该需要采取措施避免数据再relu之前进入饱和区，最直接的做法就是降低学习率和增大批处理数量。