毕设日志——下一步计划2019.4.17

• 下一步改进faster rcnn的基本思路
• 参考https://blog.csdn.net/Z5337209/article/details/72838049
• 将Faster-RCNN中的VGG16替换成ResNet可以提高performance，不仅是detection，在segmentation，video analysis，recognition等其他领域，使用更深的ResNet都可以得到稳定的提升。在速度方面，ResNet比VGG16更慢，同时需要训练的次数也更多，同时内存占用量也远远大于VGG16，大概四五倍，没有12G的GPU就不要想用了。

VISIBLE_DEVICES=0 python trainval_net.py --dataset pascal_voc --net vgg16 --epochs 3 --bs 1 --nw 1 --cuda >output.log 2>&1 &

---

19.4.17

• 看了下LSVH的数据标注label文件的txt的格式，和KITTI不一样的是，用数字表示类别，并且一个txt里面有很多个标注，应该是因为是视频很多帧的原因
• 放弃训练LSVH，转去看怎么修改faster rcnn让它更好识别小尺度物体了。
• 之后可以参考https://blog.csdn.net/zcy0xy/article/details/79614862 ，用工具自己标定、制作VOC2007格式数据集

---

4.17下午

• faster rcnn基本结构

看了一篇中文的南京大学改进faster rcnn的论文，有了点改进faster rcnn的思路，以及一篇哈工大的硕士论文，思路主要是基于faster rcnn改进以下几点：

• 类似SNIP不是一个RPN，考虑从不同层的不同特征图，用不同的RPN网络提取（这里可能可以考虑限制尺度范围，参考SNIP）
  
  
• 考虑特征融合，而不是只用一个顶层特征去输入到RPN
  
• 进一步考虑训测数据集的尺度匹配等方面的trick，参考SNIP的结论和南大论文
• 主要数据集先用KITTI试着，考虑对数据集进行上下采样来研究，参考南大论文

---

2019.4.19

• 可以后期增加anchor数量

2019.4.20

• KITTI的图片大小为1242×375左右
• 而VOC2007的图片大小为353×500，500×375左右
• 128128,256256,512*512（不考虑ratios的话）的尺寸的anchor在KITTI中，不再合适，也不便于检测小目标
• 修改anchor size
  
  
  
  即是修改：

cfg.ANCHOR_SCALES = [4,8,16,32,64]
base_size=6

 CUDA_VISIBLE_DEVICES=1 python trainval_net.py --dataset pascal_voc --net vgg16 --epochs 4 --bs 4 --nw 1 --cuda >output.log 2>&1 &

训练：

测试：

demo：效果有提升如下（4.21和4.16）：

4.21

• 大图片下小目标：cut图片成小的，修改train和test的config参数https://github.com/rbgirshick/py-faster-rcnn/issues/86
  但是标注也要做调整
• 根据图片大小修改：

# Each scale is the pixel size of an image's shortest side
__C.TRAIN.SCALES = (5616,)
# Max pixel size of the longest side of a scaled input image
    __C.TRAIN.MAX_SIZE = 3744

• 参考https://github.com/jwyang/faster-rcnn.pytorch/issues/103 有
  if the relative scale of object in your 4kx2k images is similar to your smaller size images, then you do not need to crop them, just rescale them. That’s should be fine. Also check whether your added higher resolution images are in the same domain of your smaller size images. This will also affect the performance actually.

• 参考https://github.com/rbgirshick/py-faster-rcnn/issues/275
  循环对一张图使用不同scale的net