Pytorch神经网络初始化kaiming分布

参考 Pytorch神经网络初始化kaiming分布 - 云+社区 - 腾讯云

函数的增益值

torch.nn.init.calculate_gain(nonlinearity, param=None)
提供了对非线性函数增益值的计算。

增益值gain是一个比例值，来调控输入数量级和输出数量级之间的关系。

fan_in和fan_out

pytorch计算fan_in和fan_out的源码

def _calculate_fan_in_and_fan_out(tensor):
    dimensions = tensor.ndimension()
    if dimensions < 2:
        raise ValueError("Fan in and fan out can not be computed
        for tensor with fewer than 2 dimensions")

    if dimensions == 2:  # Linear
        fan_in = tensor.size(1)
        fan_out =