【吴恩达深度学习】测试2-3总结：超参数调整 批量标准化

超参数调整

1. 超参数

• $\alpha$ 学习率
• 隐藏单元数量
• batchsize
• $\beta$ （~0.9）
• ${\beta }_1,{\beta }_2,ϵ$ (默认$0.9，0.999，10^{-8}$从不调)
• 层数
• 学习率衰减

其中学习率最重要，而后面三个影响最小。
做项目时，模型的细微变化，都可能需要重新调试超参数。

2. 搜索超参数

• 尝试随机值，不用网格搜索，因为不确定哪些超参数更重要。
• 从粗到细。
• 采取合适的尺度
  EXAMPLE搜索动量超参数$\beta$介于0.9和0.99之间：

r = np.random.rand() #[0,1]
beta = 1 - 10 ** ( - r - 1 ) #[0.9,0.99]

批量标准化

1. 目的：

我们对输入数据X进行归一化处理，同样，我们可以对每个隐藏层标准化 $z^{(i)}$,使其有固定的均值和方差，可以是0，1，也可以是任意值，这样能够加快梯度下降的求解速度，即提升模型的收敛速度。

2. 实现：

• 计算均值和方差$u,{\sigma }^2$
  由于在测试时，一次只处理一个样本，因此$u,{\sigma }^2$的计算要用指数加权平均来估测。

• 标准化 $z_{norm}^{(i)}=\frac{z^{(i)}-u}{\sqrt{{\sigma }^2+ϵ}}$

• 用$\gamma ,\beta$ 参数构造平均值和方差 $\tilde{z}=\gamma z_{norm}^{(i)}+\beta$

• 网络中的参数，由原来的$w,b$ 变成$w,\gamma ,\beta$,由于$z$都要先进行标准化处理，b会抵消掉，不会有影响。

3. 优点：

• 有一点正则化的作用，主要还是加速学习。
• 前层变化不大，使后层学习更加容易。
• 类似于dropout对每层增加噪音，使后面的单元不过分依赖任何一个单元，可以和droupout一起加强正则化效果。