本文详细解析RetinaNet在训练初始化过程中的设置，包括使用预训练的resnet作为backbone，新添加层的权重初始化，特别是分类子网络的最后一层偏置设定，该偏置在初始时设定为0.01，以反映样本可能是狗的先验概率。讨论了如何通过sigmoid激活函数设置偏置值，以及在实际网络初始化中，尽管不能使所有样本预测值为先验值，但目标是使平均预测值接近先验值。同时提供了相关代码实现的参考位置。
参考: https://www.jianshu.com/p/596e4171f7ad
比如我现在要训练网络检测狗,
(1)使用resnet-50-fpn和resnet-101-fpn backbone
(2) 基础的resnet-50 和resnet-101在imagenet 数据集上预训练
(3) 所有新增的卷积层(除了子网络的最后一层)初始化权重为
,均值=0的高斯分布,偏置bias=0
(4)分类子网络classification subnet最后一层偏置为
为每个anchor在开始训练时应该被标记为前景的置信度,实验中其值=0.01,即这个anchor为狗的概率=0.01,即99%的可能性不是狗.
备注:
问题1:最后一层的偏置偏值
是如何确定的呢?
对于二分类（即按照是否大于0.5进行分类）模型,其输出层中的激活函数一般为sigmoid函数,
最低0.47元/天 解锁文章
634
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
