1、BN可以将每一层的学习数据都归一化,保证上一层学习到的数据结构的变化不会引起下一层输入数据的不一致。
但每一层的数据分布都应该是不同的,简单进行归一化会破坏数据分布。因此,需要使用“变换重构”学习一种变换:
每个神经元都对应一组可学习的参数,r和beta,用于恢复学习到的特征。
1、BN可以将每一层的学习数据都归一化,保证上一层学习到的数据结构的变化不会引起下一层输入数据的不一致。
但每一层的数据分布都应该是不同的,简单进行归一化会破坏数据分布。因此,需要使用“变换重构”学习一种变换:
每个神经元都对应一组可学习的参数,r和beta,用于恢复学习到的特征。