文章讨论了在深度学习中处理特征尺度差异对Loss的影响，提出使用Normalization策略，特别是BatchNormalization。通过对每个批次的数据进行均值和标准差计算来标准化数据，以改善网络训练。γ和β参数用于网络自我调整，初始值通常设为γ=1向量，β=0向量。在测试阶段，利用训练集的移动平均值来实现Normalization。
类神经网络训练不起来怎么办（五）
特征的变化范围不一样，对Loss的影响不一样
不同dimension范围变化到0-1范围
在Deeplearning中，还要对z或者a做Normalization
对z做还是对a做：总体上没有区别，如果激活函数是sigmoid就推荐对z做
Batch normalization
在一个Bacth内算均值和标准差做normalization
$\hat z^i=\gamma \odot \tilde x+\beta $
γ , β \gamma,\beta γ,β参数，学习出来的
为什么这么做：
做normalization以后 z ~ \tilde z z~的均值一定就是0，这样做可能会对网络有负面的影响，引入 γ , β \gamma,\beta γ,β以后通过学习网络自己调整。
一般情况下 γ \gamma γ的初始值是one vector， β \beta β是zero vector
Batch normalization-Testing
在实际应用中，测试集上可能没有batch：
在训练集上计算moving average: μ ˉ ← p μ ˉ + ( 1 − p μ t ) p \bar \mu\leftarrow p\bar \mu+(1-p\mu^t)\quad p μˉ←pμˉ+(1−pμt)p也是一个超参数，在PyTorch里面为0.1
1278
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
