yolov3模型参数的初始化
预训练模型初始化
1.主干网络完成一致(包含结构以及通道数量等)。
2.任务尽可能相似的模型作为预训练模型,效果较好。
3.手动裁剪的网络结构,可以对应的减掉相应的权重文件作为与训练模型(理论上可行,效果待验证)。
其他参数初始化
权重初始化的参考:https://blog.csdn.net/jningwei/article/details/78835390
全零初始化 (Zero Initialization)
将网络中 所有参数 初始化为 0 。
如果所有的参数都是0,那么所有神经元的输出都将是相同的,那在back propagation的时候,gradient相同,weight update也相同。同一层内所有神经元的行为也是相同的。
这显然不可接受。
随机初始化 (Random Initialization)
将参数值(通过高斯分布或均匀分布)随机初始化为 接近0的 一个很小的随机数(有正有负),从而使对称失效。
W = tf.Variable(np.random.randn(node_in, node_out)) * 0.0011
Note:
node_in 、 node_out 表示 输入神经元个数 、输出神经元个数 ;
其中,np.random.randn(node_in, node_out) 输出 服从标准正态分布的node_in × node_out矩阵;
控制因子:0.001 ,保证参数期望接近0;
一旦随机分布选择不当,就会导致网络优化陷入困境。
Xavier初始化 (Xavier Initialization)
W = ( tf.Variable(np.random.randn(node_in, node_out)) / np.sqrt(node_in) ) * 0.0011
Note:
加上了 方差规范化: / np.sqrt(node_in) ,维持了 输入、输出数据分布方差的一致性,从而更快地收敛。
He初始化 (He Initialization)
W = ( tf.Variable(np.random.randn(node_in, node_out)) / np.sqrt(node_in/2) ) * 0.0011
Note:
考虑到 非线性映射 (relu) 函数 的影响, 将 方差规范化 的 分母 修改为 / np.sqrt(node_in/2) ,能让Relu网络更快地收敛。
yolov3-darknet模型初始化
卷积层的参数初始化
//函数路径:src/convolutional_layer.c
convolutional_layer make_convolutional_layer(int batch, int h, int w, int c, int n, int groups, int size, int stride, int padding, ACTIVATION activation, int batch_normalize, int binary