【Tensorflow训练Faster R-CNN中意外中止】“keep_inds = np.append(fg_inds, bg_inds) (Pdb)”

问题描述：今日在Tensorflow框架中复现Faster R-CNN时，train.py出现中意外中止（不是终止），即程序并未报错，但停止训练
具体问题：出现keep_inds = np.append(fg_inds, bg_inds) (Pdb)?

分析

网上对于该问题的分析较少，我首先在笔记本（i5 + 某N垃圾独显）上搭建了anaconda+pycharm环境，使用tensorflow-cpu对faster rcnn进行训练，中途发现参数忘记修改，于是stop，之后再进行train.py的时候就出现了(pdb)这个问题；后来换了主机（i7+某A垃圾独显）也出现了上述问题；不服输，换到了服务器（E5 + 4*Titan X）上，依旧出现了该问题
出现该原因的主要原因是多次训练过程中cache缓存文件的积累与交叉不匹配，导致程序不能继续执行。完全删除对应的cache缓存文件，然后对相应代码进行注释，就可以成功执行了。

解决方案

先是把proposal_target_layer.py中出现的pdb的地方注释了，再把代码生成的库清理干净，重新编译和安装（andaconda的环境中faster-rcnn对应的包是pycocotools）后，再train。 我训练了10000次（代码中40000次，时间太长，改为10000次。但后来发现改成10000次确实能够跑完代码，但是与40000词的iters对比还是有很大的精度差距，本文末会给出差异对比）花了3day(CPU)/8hours(GPU)左右。题外话（GPU确实比CPU要更加强劲）

    # Small modification to the original version where we ensure a fixed number of regions are sampled
    if fg_inds.size > 0 and