pytorch笔记：归一化

来自B站视频，API查阅，TORCH.NN

• layer normalization 是针对单个样本，训练和测试的时候行为一致
• LN 相对于 BN 更适合 RNN，可以降低训练时间
• LN 中不同样本有不同的归一化参数，以层计算
  
• a 是输入，f 是每层具体的操作，g 和 b 是可学习参数
  
• BN1d 输入是 (n,c,l)，用于序列需要转置，BN2d 用于图像，标准差是 torch.var(input, unbiased=False) 有偏估计
• track_running_stats 和 momentum 是滑动平均，affine 是归一化之后还有仿射
• instancenorm 适合风格迁移，在时间步处求均值，把随着时间不变的东西消掉了，一系列画里可能是画的风格，在语音里可能是一个人人特有的音色，因此可以理解 instance（实例，情况） norm
• weight_norm 是函数，输入是一个实例层