weixin_51581367的博客

原创 【神经网络学习笔记】网络中归一化方式选择（batch normalization 与 layer normalization区别）

假设有两个样本，分别是 样本index x1 x2 label 1 0 10 True 2 2 0 False 这两个样本是由一个样本生成的。 batch normalization 如果做了batch normalization（只mean归一化），那么样本值分别为 样本index x1 x2 label 1 -1 5 True 2 1 -5 False batch norm抹去了x1和x2间原有的大小关系，所以导致利用特征维度间关系的模型失效；batch