用ImageNet的数据集(ILSVRC2014)训练Faster R-CNN

1. 训练结果

• 第一次训练，ZF，30W张图片，201类，迭代80k40K，mAP: 18.0%
• 第二次训练，ZF，10W张图片，201类，迭代80k40K，mAP: 20.1%
• 某次训练结果，ZF，10W张图片，201类，mAP结果如下
  

个人认为23.0%还不是faster的极限，所以在研究如何提高mAP。

2. 问题汇总

2.1 总结

• ImageNet训练数据集部分标注缺失object标签
• ImageNet训练数据集的object
  
  • 宽、高过小
  • 宽高比过大或者过小
• ImageNet训练数据集的image
  
  • 宽、高过小
  • 宽高比过大或者过小
• 请配合2016.8.12的更新食用: )
• GUDA版本和GPU不兼容
  
  • 感谢linyigreat的提供
  • 请配合2016.8.18的更新食用

2.2 问题1

训练迭代过程假死状态，假死代码断self.solver.step(1)，是因为ImageNet有部分数据图片的.xml标注文件中缺少object标签。点击查看详细讨论

2.3 问题2

训练的数据集中object的宽高比有一定要求。否则会在RPN训练迭代过程中报如下错，

anchor_target_layer.py”, line 137, in forward
gt_argmax_overlaps = overlaps.argmax(axis=0) ValueError: attempt to get argmax of an empty sequence

原因是宽高比过大或者过小，产生的anchors在筛选inside_anchors的过程中没有找到合适的anchor，使得overlaps只有0个元素。

2.3 问题3

训练的数据集中image宽高不能太小。否则在做im_proposal的时候，发生假死现象。

2.4 问题4

由于GUDA版本和GPU不兼容造成的假死现象（详细讨论见评论区linyigreat和 LeeJiajun和的讨论）。

3. 补充

---

3.1 2016.3.22更新

目前最好的结果是mAP是27.3％，使用CaffeNet，__C.TRAIN.SCALES = (300,)，这两个改变都会降低最重的mAP。若采用ZF，__C.TRAIN.SCALES = (600,)，训练上30.0%应该是可以的（已证实）。下图这次训练的结果，横坐标: 迭代次数( 万)，纵坐标: mAP。

---

3.2 2016.8.1更新

经过实验证明，采用ZF, __C.TRAIN.SCALES = (600,), mAP=31.0%

---

3.3 2016年8.12及9.1更新

1. 说明
   
   • 由于Faster R-CNN程序自身的原因，对数据集的属性有一些要求，下面将进行分析和说明方法。
2. 分析
   
   • 默认情况，训练对VOC2007数据集的属性是完全支持的，所以，删除ImageNet的部分数据，以满足VOC2007的属性，以此来解决由ImageNet图片属性带来的问题。
   • 提供object的宽高比数据
     
     • VOC2007的在0.117-15.500之间
     • ImageNet的在0.03-48.50之间

3. 方法

   • 第一步：从VOC2007数据集中统计
     
     • 图片的宽、高
     • 图片的宽高比
     • 目标(Object)的宽、高
     • 目标的宽高比
   • 第二步：根据第一步得出的值来进行筛选，来约束ImageNet的图片，
     
     • ImageNet图片的宽、高 >= VOC2007图片的最小宽、最小高
     • ImageNet图片的宽高比 <= VOC2007图片的宽高比最大值
     • ImageNet图片的宽高比 >= VOC2007图片的宽高比最小值
     • ImageNet的Object的宽、高 >= VOC2007图片的最小宽、最小高
     • ImageNet的Object的宽高比 <= VOC2007图片的宽高比最大值
     • ImageNet的Object的宽高比 >= VOC2007图片的宽高比最小值
   • 第三步：调整第上一步的属性的值以减少图片的损失

4. 参考

   • 我将提供我采用的数值和逻辑(VOC2007的4个属性数据没有保留，无法提供)
     
     • 对于图片宽<=127 或 高<=96 都被删除
     • 对于含有目标：宽<=7且 高<=9的图片都被删除
     • 对于图片宽高比小于0.12 或 大于>10的图片都被删除
   • 以上数值及逻辑仅供参考，建议按照第3点中的方法步骤

5. 补充

   • 由LY18810528491整理并提供的宽高比数据。
   

---

3.4 2016.8.16更新

关于GUDA版本和GPU不兼容的问题讨论请见评论区。
另外，问题贡献者linyigreat在这篇文章中提及的一个问题，大家可以参考。

3.5 2017.10.11更新

有好几位朋友问到要caffemodel，所以，我将效果最好的caffemodel放到Github上
https://github.com/leejiajun/Faster-R-CNN_ILSVRC2014_LPIRC2016
希望能收到几颗星星 : )

---

4. 感谢

linyigreat
LY18810528491

若有更好的方案还望不吝赐教！