1. 训练结果
- 第一次训练,ZF,30W张图片,201类,迭代80k40K,mAP: 18.0%
- 第二次训练,ZF,10W张图片,201类,迭代80k40K,mAP: 20.1%
- 某次训练结果,ZF,10W张图片,201类,mAP结果如下
个人认为23.0%还不是faster的极限,所以在研究如何提高mAP。
2. 问题汇总
2.1 总结
- ImageNet训练数据集部分标注缺失object标签
- ImageNet训练数据集的object
- 宽、高过小
- 宽高比过大或者过小
- ImageNet训练数据集的image
- 宽、高过小
- 宽高比过大或者过小
- 请配合2016.8.12的更新食用: )
- GUDA版本和GPU不兼容
- 感谢linyigreat的提供
- 请配合2016.8.18的更新食用
2.2 问题1
训练迭代过程假死状态,假死代码断self.solver.step(1)
,是因为ImageNet有部分数据图片的.xml标注文件中缺少object标签。点击查看详细讨论
2.3 问题2
训练的数据集中object的宽高比有一定要求。否则会在RPN训练迭代过程中报如下错,
anchor_target_layer.py”, line 137, in forward
gt_argmax_overlaps = overlaps.argmax(axis=0) ValueError: attempt to get argmax of an empty sequence
原因是宽高比过大或者过小,产生的anchors在筛选inside_anchors的过程中没有找到合适的anchor,使得overlaps只有0个元素。
2.3 问题3
训练的数据集中image宽高不能太小。否则在做im_proposal的时候,发生假死现象。
2.4 问题4
由于GUDA版本和GPU不兼容造成的假死现象(详细讨论见评论区linyigreat和 LeeJiajun和的讨论)。
3. 补充
3.1 2016.3.22更新
目前最好的结果是mAP是27.3%,使用CaffeNet,__C.TRAIN.SCALES = (300,),这两个改变都会降低最重的mAP。若采用ZF,__C.TRAIN.SCALES = (600,),训练上30.0%应该是可以的(已证实)。下图这次训练的结果,横坐标: 迭代次数( 万),纵坐标: mAP。
3.2 2016.8.1更新
经过实验证明,采用ZF, __C.TRAIN.SCALES = (600,), mAP=31.0%
3.3 2016年8.12及9.1更新
- 说明
- 由于Faster R-CNN程序自身的原因,对数据集的属性有一些要求,下面将进行分析和说明方法。
- 分析
- 默认情况,训练对VOC2007数据集的属性是完全支持的,所以,删除ImageNet的部分数据,以满足VOC2007的属性,以此来解决由ImageNet图片属性带来的问题。
- 提供object的宽高比数据
- VOC2007的在0.117-15.500之间
- ImageNet的在0.03-48.50之间
方法
- 第一步:从VOC2007数据集中统计
- 图片的宽、高
- 图片的宽高比
- 目标(Object)的宽、高
- 目标的宽高比
- 第二步:根据第一步得出的值来进行筛选,来约束ImageNet的图片,
- ImageNet图片的宽、高 >= VOC2007图片的最小宽、最小高
- ImageNet图片的宽高比 <= VOC2007图片的宽高比最大值
- ImageNet图片的宽高比 >= VOC2007图片的宽高比最小值
- ImageNet的Object的宽、高 >= VOC2007图片的最小宽、最小高
- ImageNet的Object的宽高比 <= VOC2007图片的宽高比最大值
- ImageNet的Object的宽高比 >= VOC2007图片的宽高比最小值
- 第三步:调整第上一步的属性的值以减少图片的损失
- 第一步:从VOC2007数据集中统计
参考
- 我将提供我采用的数值和逻辑(VOC2007的4个属性数据没有保留,无法提供)
- 对于图片宽<=127 或 高<=96 都被删除
- 对于含有目标:宽<=7且 高<=9的图片都被删除
- 对于图片宽高比小于0.12 或 大于>10的图片都被删除
- 以上数值及逻辑仅供参考,建议按照第3点中的方法步骤
- 我将提供我采用的数值和逻辑(VOC2007的4个属性数据没有保留,无法提供)
补充
- 由LY18810528491整理并提供的宽高比数据。
3.4 2016.8.16更新
关于GUDA版本和GPU不兼容的问题讨论请见评论区。
另外,问题贡献者linyigreat在这篇文章中提及的一个问题,大家可以参考。
3.5 2017.10.11更新
有好几位朋友问到要caffemodel,所以,我将效果最好的caffemodel放到Github上
https://github.com/leejiajun/Faster-R-CNN_ILSVRC2014_LPIRC2016
希望能收到几颗星星 : )
4. 感谢
若有更好的方案还望不吝赐教!