FRN+TLU，小batch size训练的福音

论文地址：https://arxiv.org/pdf/1911.09737.pdf

笔记内容：

• 论文总览

• 论文图表与内容

• Normalization各种方法回顾（BN,GN,LN,IN）

 

论文总览：

1、解决的问题：BN（Batch Normalization）在mini-batch尺寸太小的时候会降低训练效果，GN（Group Normalization）,Batch Renormalization都在解决这些问题，但是达不到BN在大batch上的表现，或在小batch上表现不佳

2、FRN表现：FRN结合归一化和激活函数的方式，替代其他的归一化与激活函数的结合，在各个batch size上的表现都更好

3、改进的方向：FRN未来会在NLP领域继续探索

论文图表与内容：

FRN不依赖于batch的设置，在small batch size 和large batch size上表现都很好