mxnet参数初始化，查看

查看：

 import mxnet as mx
 
 a = mx.sym.Variable('data')
 b = mx.sym.FullyConnected(data=a,name='fc1',num_hidden=100)
 data_shape = {'data':(256,64)}
 arg_shape,_,_ = b.infer_shape(**data_shape)

>>> b.list_arguments()               # 列出symbol中的所有参数，这里是输入以及全连接层的权值和偏置
['data', 'fc1_weight', 'fc1_bias']
>>> arg_shape                        # 这里展示上面三个参数的size
[(256L, 64L), (100L, 64L), (100L,)]
 

mxnet的模型参数初始化方法总结

1.mxnet框架的初始化方法在类mxnet.initializer中，参考官方文档https://mxnet.apache.org/api/python/docs/api/initializer/index.html#mxnet.initializer.Xavier

2.具体方法

（1）Bilinear():Initialize weight for upsampling layers.翻译过来就是：初始化上采样层的权重。什么意思？看看源码解释

官方源代码

class Bilinear(Initializer):
    """Initialize weight for upsampling layers."""
    def __init__(self):
        super(Bilinear, self).__init__()
 
    def _init_weight(self, _, arr):
        weight = np.zeros(np.prod(arr.shape), dtype='float32')
        shape = arr.shape 
        f = np.ceil(shape[3] / 2.) # 计算列数/2，向上求余
        c = (2 * f - 1 - f % 2) / (2. * f)
        for i in range(np.prod(shape)): # 重新生成权重
            x = i % shape[3] # 根据列数
            y = (i // shape[3]) % shape[2]
            weight[i] = (1 - abs(x / f - c)) * (1 - abs(y / f - c))
        arr[:] = weight.reshape(shape)
arr是一个矩阵数组，np.prod进行连乘计算，计算出arr中共有多少元素，根据arr数组生成一个全零的一维数组。

无解，只知道是这个意思，具体干什么的，怎么用的，没见过用的，有知道的老哥告知一下，谢谢！

（2）mxnet.initializer.Constant(value)：将权重参数初始化为常数。

源码

class Constant(Initializer):
    """Initializes the weights to a given value.
    The value passed in can be a scalar or a NDarray that matches the shape
    of the parameter to be set.
    Parameters
    ----------
    value : float, NDArray
        Value to set.
    """
    def __init__(self, value):
        super(Constant, self).__init__(value=value)
        self.value = value
 
    def _init_weight(self, _, arr):
        arr[:] = self.value
 
      def dumps(self):
        val = self._kwargs['value']
        if not np.isscalar(val):
            self._kwargs['value'] = val.tolist() if isinstance(val, np.ndarray) else val.asnumpy().tolist()
        return json.dumps([self.__class__.__name__.lower(), self._kwargs])
（3）mxnet.initializer.Normal(sigma=0.01)：将权重初始化为均值为0，标准差为sigma的随机数

（4）mxnet.initializer.One：将权重参数初始化为1

（5）mxnet.initializer.Orthogonal(scale=1.414, rand_type='uniform')：将权重初始化为正交矩阵。

scale权重比例因子，rand_type使用“均匀”或“正常”随机数初始化权重

（6）mxnet.initializer.Uniform(scale=0.07)：使用从给定范围内均匀采样的随机值初始化权重

scale界限值

（7）mxnet.initializer.Xavier(rnd_type='uniform', factor_type='avg', magnitude=3)：返回对权重执行“ Xavier”初始化的初始化器。该初始化程序旨在使所有图层的渐变比例大致相同。

md_type决定生成的随机数类型是“gaussian” or "uniform";factor_type决定随机数的范围，可以是"avg" or "in" or "out"

magnitude决定随机数的规模

（8）mxnet.initializer.Zero：将权重矩阵初始化为0
————————————————
版权声明：本文为CSDN博主「夜雨_小学徒」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/m0_37992521/article/details/105810427