Colaboratory下运行tensorflow版faster rcnn的demo文件

1 前言

之前在windows的Anaconda下运行过faster rcnn，也在ubuntu环境下进行实验，但每次运行demo文件都会报各种错误，试过github上各种版本的代码，百度了N遍试了N种方法都未解决，最后放弃治疗。后来在网上找免费GPU云时，找到了Google的Colaboratory。Colaboratory是Google的一个研究项目，旨在提供开发者一个云端训练神经网络的工具。它是Jupyter笔记本环境，不用做任何配置，完全运行在云端。Colaboratory存储在Google Drive中，可以进行共享。Colaboratory向开发者提供了免费的Tesla K80 GPU使用。

自己用了Colaboratory两天后，不用自己配置GPU环境和各种python包，终于没有那种报错，跑通了faster rcnn的demo文件，留下了心酸的泪水。

我用的faster rcnn代码地址：https://github.com/endernewton/tf-faster-rcnn
Colaboratory教程：https://colab.research.google.com/notebooks/welcome.ipynb#scrollTo=xitplqMNk_Hc
谷歌云端硬盘：https://drive.google.com/drive/my-drive

2 代码修改

从github上下载完整个文件，进行修改。

2.1 GPU框架修改

GPU类型和架构对比表：

GPU model	Architecture
TitanX (Maxwell/Pascal)	sm_52
GTX 960M	sm_50
GTX 1080 (Ti)	sm_61
Grid K520 (AWS g2.2xlarge)	sm_30
Tesla K80 (AWS p2.xlarge)	sm_37

Colaboratory的GPU型号是Tesla K80，因此在lib/setup.py文件中，找到extra_compile_args，将-arch改为sm_37：

 extra_compile_args={'gcc': ["-Wno-unused-function"],
                            'nvcc': ['-arch=sm_37',
                                     '--ptxas-options=-v',
                                     '-c',
                                     '--compiler-options',
                                     "'-fPIC'"]},

2.2 demo文件修改

因为原本的demo代码最后运行结果是直接弹出有标注框的图片，而且一张图片只有一个标注框，因此需要修改tools/demo.py文件，使一张图片能显示所有的标注框，并且运行完后不弹出显示，而是直接保存。

修改vis_detections函数和demo函数如下：

def vis_detections(im, class_name, dets, ax,thresh=0.5):
    """Draw detected bounding boxes."""
    inds = np.where(dets[:, -1] >= thresh)[0]
    if len(inds) == 0:
        return

#    im = im[:, :, (2, 1, 0)]
#    fig, ax = plt.subplots(figsize=(12, 12))
#    ax.imshow(im, aspect='equal')
    for i in inds:
        bbox = dets[i, :4]
        score = dets[i, -1]

        ax.add_patch(
            plt.Rectangle((bbox[0], bbox[1]),
                          bbox[2] - bbox[0],
                          bbox[3] - bbox[1], fill=False,
                          edgecolor='red', linewidth=3.5)
            )
        ax.text(bbox[0], bbox[1] - 2,
                '{:s} {:.3f}'.format(class_name, score),
                bbox=dict(facecolor='blue', alpha=0.5),
                fontsize=14, color='white')

    ax.set_title(('{} detections with '
                  'p({} | box) >= {:.1f}').format(class_name, class_name,
                                                  thresh),
                  fontsize=14)
#   plt.axis('off')
#   plt.tight_layout()
#   plt.draw()

def demo(sess, net, image_name):
    """Detect object classes in an image using pre-computed object proposals."""

    # Load the demo image
    im_file = os.path.join(cfg.DATA_DIR, 'demo', image_name)
    im = cv2.imread(im_file)

    # Detect all object classes and regress object bounds
    timer = Timer()
    timer.tic()
    scores, boxes = im_detect(sess, net, im)
    timer.toc()
    print('Detection took {:.3f}s for {:d} object proposals'.format(timer.total_time, boxes.shape[0]))

    # Visualize detections for each class
    CONF_THRESH = 0.8
    NMS_THRESH = 0.3
    im = im[:, :, (2, 1, 0)]
    fig,ax = plt.subplots(figsize=(12, 12))
    ax.imshow(im, aspect='equal')
    for cls_ind, cls in enumerate(CLASSES[1:]):
        cls_ind += 1 # because we skipped background
        cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)]
        cls_scores = scores[:, cls_ind]
        dets = np.hstack((cls_boxes,
                          cls_scores[:, np.newaxis])).astype(np.float32)
        keep = nms(dets, NMS_THRESH)
        dets = dets[keep, :]
        vis_detections(im, cls, dets, ax,thresh=CONF_THRESH)
    plt.axis('off')
    plt.tight_layout()
    plt.draw()

在最后一部分进行修改：

for im_name in im_names:
        print('~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~')
        print('Demo for data/demo/{}'.format(im_name))
        demo(sess, net, im_name)
        plt.savefig("testfigs/" + im_name) 

    #plt.show()   

然后再在根目录下新建名为testfigs的文件夹，这样就完成了。

3 数据集下载

下载voc2007数据集的三个压缩包链接：
http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar
再新建一个名为VOCdevkit的文件夹，上面三个链接下载的压缩包都解压到这个文件夹里，即把VOCtrainval和VOCtest中的VOC2007文件夹里的以下几个子文件合并到一起：

最后合并完的整个VOCdevkit文件夹结构内容如下：

再在根目录下新建output/res101/voc_2007_trainval+voc_2012_trainval/default路径文件夹来放预训练模型，下载已有人在谷歌云端硬盘里分享的voc_0712_80k-110k.tgz文件，链接：https://drive.google.com/drive/folders/0B1_fAEgxdnvJeGg0LWJZZ1N2aDA
解压后将那四个文件放到default文件夹里。

然后就可以把整个文件夹上传到云盘里，但是因为文件数目多而且大，上传很慢，想要速度可以快一点，可以只上传VOC2007的前2000个数据集，那5个子文件夹里的内容都只选取前2000个就行，把其它的删除。如果时间充裕不急的话，就整个上传好了。

4 运行demo文件

4.1 配置Colaboratory

新建一个python3记事本，并在修改菜单中的笔记本设置里，把硬件加速器改为GPU。然后在Colab笔记本中进行挂载，使Google Drive与Colaboratory关联，能在笔记本中导入整个文件夹运行。Colaboratory是虚拟的ubuntu环境，因此可以运用ubuntu代码，只要在前面加上！就行。

!apt-get install -y software-properties-common
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

运行时会有网页地址跳出来，进入那个网页后，选择自己的账号转到页面，复制验证码到框里进行验证，一共两次，最后完成的结果如下图所示：

然后对云端硬盘进行命名：

!mkdir -p drive
!google-drive-ocamlfuse drive

查看云端硬盘中根目录下的文件夹：

!ls drive/

#指定当前的工作文件夹
import os
#此处为google drive中的文件路径,drive为之前指定的工作根目录，要加上
os.chdir("drive/tf-faster-rcnn-master") 
!ls

运行结果为：

4.2 编译Cython

!make clean

运行结果：

!make

运行结果：

最后回到根目录：

cd ..

4.3 安装Python COCO API

因为代码需要API来连接COCO数据集。

cd data
!git clone https://github.com/pdollar/coco.git
cd coco/PythonAPI
!make
cd ../../..

到此前期工作都结束了。

4.4 运行demo

输入以下代码来运行demo文件：

!python3 tools/demo.py

运行结果保存在testfigs文件夹中，运行的图片为data/demo文件夹里的图片，最后运行结果的其中一张如下所示：

大功告成！