小识 神经网络的初始化

如有转载，请标明出处

初始化的原因

对于一个神经网络而言，我们自然希望它是鲁棒的。也就是说，对于任何一个初始化的点，我们都能得到比较好的收敛结果。不幸的是，几乎所有的网络都是非凸的，不同的初始化得到的结果可能大相径庭。

而且，如果权重初始化的方差过大或过小，可能会导致梯度爆炸或梯度弥散的问题，从而无法收敛。

因此，合适的权重初始化就尤为重要。

目前存在以下几种初始化策略：

• Constant Initialization
• Xavier Initialization
• Kaiming Initialization

Constant Initialization

一般来说，就是将权重设置为全0的矩阵。通常来讲，这样效果不好。因为这意味着所有的单元初始化为完全相同的状态，会导致同层的每个神经元的前向与反向传播存在某种对称关系甚至完全相同，这样的话，同层的神经元就学不到更多的信息，致使其效果不佳。

Xavier Initialization

除却常数初始化外，还有将参数初始化为 $W\sim N(0,1)$ ，但随着神经网络深度的增加，此方法不能解决梯度消失的问题。如下图所示：

为了解决上述问题，Xavier的作者提出一种使方差在传播时保持不变的方案。

如前文所述，其理论是在全连接层的情况下，那么，有：
$$Y=WX+B$$

前向计算

需要满足：$var(Y)=var(X)$

假设权重数值之间是独立同分布的,$X$ 数值之间也是独立同分布的, 且$X$和权重相互独立。且bias为0，W满足均值为0 的某种高斯分布。

那么有：

其中，$d$ 是 输入向量的维度。若要实现$Var(Y_i)=Var(X_j)$，则必须满足 $d\times Var(W_{ij})=1$ ，即：$Var(W_{ij})=\frac{1}{d}$ ，进一步得出初始化方式：

• 若$W_{ij}$服从正态分布，则$W_{ij}\sim Normal(0,\frac{1}{d})$；
• 若$W_{ij}$服从均匀分布，则$W_{ij}\sim Uniform(-\sqrt{\frac{3}{d}},\sqrt{\frac{3}{d}})$;

后向计算

$△X=W^T△Y$

其中，$w\in {\mathbb{R}}^{u\times d}$，$△y\in {\mathbb{R}}^u$，$△x\in {\mathbb{R}}^d$。

若要做到后向计算信号强度不变，就需要满足：$Var(△X_j)=Var(△Y_i)$。

同样的道理，我们有$u\times Var(W_{ij})=1$，即$Var(W_{ij})=\frac{1}{u}$，那么其初始化方式为：

• 若$W_{ij}$服从正态分布，则$W_{ij}\sim Normal(0,\frac{1}{u})$；
• 若$W_{ij}$服从均匀分布，则$W_{ij}\sim Uniform(-\sqrt{\frac{3}{u}},\sqrt{\frac{3}{u}})$；

调和平均

根据上面的推导可以看出，除非$d=u$，否则我们无法同时保证前后向信号的Variance不发生变化，所以原论文中对$Var(W_{ij}$取了一个调和平均数：$Var(W_{ji})=\frac{2}{d+u}$，进一步得到模型初始化方式：

• 若$W_{ij}$服从正态分布，则$W_{ij}\sim Normal(0,\frac{2}{d+u})$；
• 若$W_{ij}$服从均匀分布，则$W_{ij}\sim Uniform(-\sqrt{\frac{6}{d+u}},\sqrt{\frac{6}{d+u}})$；

缺陷

Xavier初始化的问题在于，其初始化的假设中没有激活函数。但实际上，激活函数是深度神经网络中不可或缺的一部分，而Xavier初始化的结果经过ReLU后结果发生了偏移，因此，何凯明大神提出了Kaiming初始化。

Kaiming Initialization

torch.nn.init中封装了Kaiming初始化。

torch.nn.init.kaiming_uniform_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)

Fills the input Tensor with values according to the method described in Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification - He, K. et al. (2015), using a uniform distribution. The resulting tensor will have values sampled from $\mathcal{U}(-\text{bound}, \text{bound}) $ where
$$bound=gain\times \sqrt{\frac{3}{fan\_mode}}$$
torch.nn.init.``kaiming_normal_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)

Fills the input Tensor with values according to the method described in Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification - He, K. et al. (2015), using a normal distribution. The resulting tensor will have values sampled from $N(0,st{d}^2)$ where
$$std=\frac{gain}{fan\_mode}$$

方差的计算需要两个值:gain 和 fan。 gain 值由激活函数决定. fan 值由权重参数的数量和传播的方向决定. fan_in 表示前向传播, fan_out 表示反向传播。

来点源码调节一下心情。

# 根据网络设计时卷积权重的形状和前向传播还是反向传播, 进行 fan 值的计算。
def _calculate_fan_in_and_fan_out(tensor):
    dimensions = tensor.dim() # 返回的是维度
    if dimensions < 2:
        raise ValueError("Fan in and fan out can not be computed for tensor with fewer than 2 dimensions")
    if dimensions == 2:  # Linear
        fan_in = tensor.size(1) 
        fan_out = tensor.size(0)
    else:
        num_input_fmaps = tensor.size(1) # 卷积的输入通道大小
        num_output_fmaps = tensor.size(0) # 卷积的输出通道大小
        receptive_field_size = 1
        if tensor.dim() > 2:
            receptive_field_size = tensor[0][0].numel() # 卷积核的大小:k*k
        fan_in = num_input_fmaps * receptive_field_size # 输入通道数量*卷积核的大小. 用于前向传播
        fan_out = num_output_fmaps * receptive_field_size # 输出通道数量*卷积核的大小. 用于反向传播

    return fan_in, fan_out

def _calculate_correct_fan(tensor, mode):
    mode = mode.lower()
    valid_modes = ['fan_in', 'fan_out']
    if mode not in valid_modes:
        raise ValueError("Mode {} not supported, please use one of {}".format(mode, valid_modes))

    fan_in, fan_out = _calculate_fan_in_and_fan_out(tensor)
    return fan_in if mode == 'fan_in' else fan_out

def calculate_gain(nonlinearity, param=None):
    r"""Return the recommended gain value for the given nonlinearity function.
    The values are as follows:

    ================= ====================================================
    nonlinearity      gain
    ================= ====================================================
    Linear / Identity :math:`1`
    Conv{1,2,3}D      :math:`1`
    Sigmoid           :math:`1`
    Tanh              :math:`\frac{5}{3}`
    ReLU              :math:`\sqrt{2}`
    Leaky Relu        :math:`\sqrt{\frac{2}{1 + \text{negative\_slope}^2}}`
    ================= ====================================================

    Args:
        nonlinearity: the non-linear function (`nn.functional` name)
        param: optional parameter for the non-linear function

    Examples:
        >>> gain = nn.init.calculate_gain('leaky_relu', 0.2)  # leaky_relu with negative_slope=0.2
    """
    linear_fns = ['linear', 'conv1d', 'conv2d', 'conv3d', 'conv_transpose1d', 'conv_transpose2d', 'conv_transpose3d']
    if nonlinearity in linear_fns or nonlinearity == 'sigmoid':
        return 1
    elif nonlinearity == 'tanh':
        return 5.0 / 3
    elif nonlinearity == 'relu':
        return math.sqrt(2.0)
    elif nonlinearity == 'leaky_relu':
        if param is None:
            negative_slope = 0.01
        elif not isinstance(param, bool) and isinstance(param, int) or isinstance(param, float):
            # True/False are instances of int, hence check above
            negative_slope = param
        else:
            raise ValueError("negative_slope {} not a valid number".format(param))
        return math.sqrt(2.0 / (1 + negative_slope ** 2))
    else:
        raise ValueError("Unsupported nonlinearity {}".format(nonlinearity))

回到正题，现在我们一起来研究一下Kaiming初始化的推导过程。

推导

kaiming 初始化的推导过程只包含卷积和 ReLU 激活函数, 默认是 vgg 类似的网络, 没有残差, concat 之类的结构, 也没有 BN 层.
$$Y_l=W_l{X}_l+B_l$$

前向传播

$$var(y_l)=n_{l}var(w_l{x}_l)$$

由于，$w_l，x_l$相互独立，有：

$var(y_l)=n_l[var(w_l)var(x_l)+var(w_l)(E{x}_l{)}^2+(E{w}_l{)}^{2}var(x_l)]$

初始化的时候令权重的均值是 0, 且假设更新的过程中权重的均值一直是 0, 那么有$E(w_l)=0$，但是$x_l$经过了ReLU，所以有：

$var(y_l)=n_l[var(w_l)var(x_l)+var(w_l)(E{x}_l{)}^2]=n_{l}var(w_l)(var(x_l)+(E{x}_l{)}^2)$

由于：$var(X)=E(X^2)-(EX{)}^2$

那么有：$var(y_l)=n_{l}var(w_l)E(x_l^2)$

通过第l-1层的输出来计算该期望，我们有$x_l=f(y_{l-1})$，其中f是relu
$E(x_l^2)=E(f^2(y_{l-1}))={\int }_{-\infty }^{+\infty }p(y_{l-1})f^2(y_{l-1})d{y}_{l-1}$

由于relu的特性，我们可得：

$E(x_l^2)=E(f^2(y_{l-1}))={\int }_0^{+\infty }p(y_{l-1})(y_{l-1}{)}^{2}d{y}_{l-1}$

现因$w_{l-1}$ 是假设在 0 周围对称分布且均值为 0, 所以$y_{l-1}$ 也是在 0 附近分布是对称的, 并且均值为 0(此处假设偏置为 0

$E(x_l^2)=E(f^2(y_{l-1}))=\frac{1}{2}({\int }_0^{+\infty }p(y_{l-1})(y_{l-1}{)}^{2}d{y}_{l-1}+{\int }_{-\infty }^{0}p(y_{l-1})(y_{l-1}{)}^{2}d{y}_{l-1})=\frac{1}{2}{\int }_{-\infty }^{+\infty }p(y_{l-1})(y_{l-1}{)}^{2}d{y}_{l-1}=\frac{1}{2}E(y_{l-1}^2)$
又$E(y_{l-1})=0$，有：

$E(x_l^2)=\frac{1}{2}E(y_{l-1}^2)=\frac{1}{2}var(y_{l-1})$

带入原式，我们有：

$var(y_l)=\frac{1}{2}{n}_{l}var(w_l)var(y_{l-1})$

易知：

$var(y_l)=var(y_1)(\prod _{i=0}^L\frac{1}{2}{n}_{l}var(w_l))$

为了让每层的方差相同，则有：

$\frac{1}{2}{n}_{l}var(w_l)=1$
$var(w_l)=\frac{2}{n_l}$

得到如下结论：

• $W_{i,j}\sim N(0,\frac{2}{n_l})$ Or

• $W_{i,j}\sim U(-\sqrt{\frac{6}{n_l}},\sqrt{\frac{6}{n_l}})$

反向传播

后向传播与前向传播的推导过程类似，这里就不赘述。

得到如下结论：

• $W_{i,j}\sim N(0,\frac{2}{n_{l+1}})$ Or
• $W_{i,j}\sim U(-\sqrt{\frac{6}{n_{l+1}}},\sqrt{\frac{6}{n_{l+1}}})$

参考文献

Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

Understanding the difficulty of training deep feedforward neural networks