py-faster rcnn demo.py

[python]  view plain  copy

1. #程序功能：调用caffemodel，画出检测到的人脸并显示  
2.   
3. #用来指定用什么解释器运行脚本，以及解释器所在位置，这样就可以直接执行脚本  
4. #!/usr/bin/env python  
5.   
6. # --------------------------------------------------------  
7. # Faster R-CNN  
8. # Copyright (c) 2015 Microsoft  
9. # Licensed under The MIT License [see LICENSE for details]  
10. # Written by Ross Girshick  
11. # --------------------------------------------------------  
12.   
13. """ 
14. Demo script showing detections in sample images. 
15.  
16. See README.md for installation instructions before running. 
17. """  
18.   
19. import _init_paths  #导入“_init_paths.py”文件  
20. from fast_rcnn.config import cfg  
21. #im_detect 生成RPN候选框
    
22. from fast_rcnn.test import im_detect 
23. #nms 进行非极大值抑制 
24. from fast_rcnn.nms_wrapper import nms  
25. from utils.timer import Timer   
26. import matplotlib.pyplot as plt  #导入用来画图的工具  
27. import numpy as np  #numpg:矩阵计算模块  
28. import scipy.io as sio  #scipy.io：对matlab中mat文件进行读取操作  
29. import caffe, os, sys, cv2  
30. #引入argparse， 它python用于解析命令行参数和选项的#标准模块，用于解析命令行参数
    
31. import argparse  #argparse：是python用于解析命令行参数和选项的标准模块  
32.   
33. #CLASSES = ('__background__',   #背景 + 类  
34. #           'aeroplane', 'bicycle', 'bird', 'boat',  
35. #           'bottle', 'bus', 'car', 'cat', 'chair',  
36. #           'cow', 'diningtable', 'dog', 'horse',  
37. #           'motorbike', 'person', 'pottedplant',  
38. #           'sheep', 'sofa', 'train', 'tvmonitor')  
39.   
40. CLASSES = ('__background__','face')  #只有一类：face  
41.   
42. NETS = {'vgg16': ('VGG16',   #网络  
43.                   'VGG16_faster_rcnn_final.caffemodel'),  
44.         'myvgg': ('VGG_CNN_M_1024',  
45.                   'VGG_CNN_M_1024_faster_rcnn_final.caffemodel'),  
46.         'zf': ('ZF',  
47.                   'ZF_faster_rcnn_final.caffemodel'),  
48.         'myzf': ('ZF',  
49.                   'zf_rpn_stage1_iter_80000.caffemodel'),  
50. }  
51.   
52.   
53. def vis_detections(im, class_name, dets, thresh=0.5):  
54.     """Draw detected bounding boxes."""  

55. def vis_detections模块：画出测试图片的bounding boxes， 参数im为测试图片； class_name 为类别名称，在前面定义的 CLASSES 中； dets为非极大值抑制后的bbox和score的数组；thresh是最后score的阈值，高于该阈值的候选框才会被画出来。

56. ##选取候选框score大于阈值的dets
    
57.     inds = np.where(dets[:, -1] >= thresh)[0]  #返回置信度大于阈值的窗口下标  
58.     if len(inds) == 0:  
59.         return  
60.  # python-opencv 中读取图片默认保存为[w,h,channel](w,h顺序不确定)
61. # 其中 channel：BGR 存储，而画图时，需要按RGB格式，因此此处作转换。
62.     im = im[:, :, (2, 1, 0)]  
63.     fig, ax = plt.subplots(figsize=(12, 12))  
64.     ax.imshow(im, aspect='equal')  
65.     for i in inds:
66. #从dets中取出 bbox, score  
67.         bbox = dets[i, :4]  #人脸坐标位置（Xmin,Ymin,Xmax,Ymax）  
68.         score = dets[i, -1]  #置信度得分  
69. #根据起始点坐标以及w,h 画出矩形框  
70.         ax.add_patch(  
71.             plt.Rectangle((bbox[0], bbox[1]),  #bbox[0]:x, bbox[1]:y, bbox[2]:x+w, bbox[3]:y+h  
72.                           bbox[2] - bbox[0],  
73.                           bbox[3] - bbox[1], fill=False,  
74.                           edgecolor='red', linewidth=3.5)  
75.             )  
76.         ax.text(bbox[0], bbox[1] - 2,  
77.                 '{:s} {:.3f}'.format(class_name, score),  
78.                 bbox=dict(facecolor='blue', alpha=0.5),  
79.                 fontsize=14, color='white')  
80.   
81.     ax.set_title(('{} detections with '  
82.                   'p({} | box) >= {:.1f}').format(class_name, class_name,  
83.                                                   thresh),  
84.                   fontsize=14)  
85.     plt.axis('off')  
86.     plt.tight_layout()  
87.     plt.draw()  
88.   

89. def demo模块：对测试图片提取预选框，并进行非极大值抑制，然后调用def vis_detections 画矩形框。参数：net 测试时使用的网络结构；image_name:图片名称。

    
    
90. def demo(net, image_name):  
91.     #检测目标类，在图片中提议窗口  
92.     """Detect object classes in an image using pre-computed object proposals."""  
93.   
94.     # Load the demo image，得到图片绝对地址  
95.     im_file = os.path.join(cfg.DATA_DIR, 'demo', image_name) #拼接路径，返回'A/B/C'之类路径  
96.     im = cv2.imread(im_file)  #读取图片  
97.   
98.     # Detect all object classes and regress object bounds  
99.     timer = Timer()  #time.time()返回当前时间  
100.     timer.tic()  #返回开始时间，见'time.py'中  
101.     scores, boxes = im_detect(net, im)  #检测，返回得分和人脸区域所在位置  
102.     timer.toc()  #返回平均时间，'time.py'文件中  
103.     print ('Detection took {:.3f}s for '  #输出  
104.            '{:d} object proposals').format(timer.total_time, boxes.shape[0])  
105.   
106.     # Visualize detections for each class 
107. #score 阈值，最后画出候选框时需要，>thresh才会被画出 
108.     CONF_THRESH = 0.8  
109. #非极大值抑制的阈值，剔除重复候选框
     
110.     NMS_THRESH = 0.3  
111. #利用enumerate函数，获得CLASSES中 类别的下标cls_ind和类别名cls
     
112.     for cls_ind, cls in enumerate(CLASSES[1:]):  #enumerate:用于遍历序列中元素及他们的下标  
113.         cls_ind += 1 # because we skipped background    ，cls_ind:下标，cls:元素 
114. #取出bbox ,score 
115.         cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)]  #返回当前坐标  
116.         cls_scores = scores[:, cls_ind]  #返回当前得分 
117. #将bbox,score 一起存入dets 
118.         dets = np.hstack((cls_boxes,  #hstack:拷贝，合并参数  
119.                           cls_scores[:, np.newaxis])).astype(np.float32)
120. #进行非极大值抑制，得到抑制后的 dets  
121.         keep = nms(dets, NMS_THRESH)  
122.         dets = dets[keep, :] 
123. #画框 
124.         vis_detections(im, cls, dets, thresh=CONF_THRESH)  #画检测框  
125.   

     def parse_args模块：解析命令行参数，得到gpu||cpu, net等。

126. def parse_args():  
127.     """Parse input arguments.""" 
128. #创建解析对象 
129.     parser = argparse.ArgumentParser(description='Faster R-CNN demo')
130. #parser.add_argument 向解析对象添加关注的命令行参数  
131.     parser.add_argument('--gpu', dest='gpu_id', help='GPU device id to use [0]',  
132.                         default=0, type=int)  
133.     parser.add_argument('--cpu', dest='cpu_mode',  
134.                         help='Use CPU mode (overrides --gpu)',  
135.                         action='store_true')  
136.     parser.add_argument('--net', dest='demo_net', help='Network to use [vgg16]',  
137.                         choices=NETS.keys(), default='vgg16')  
138. #调用parser.parse_args进行解析，返回带标注的args  
139.     args = parser.parse_args()  
140.   
141.     return args  
142.   

     主函数

143. if __name__ == '__main__':  #判断是否在直接运行该.py文件  
144.     cfg.TEST.HAS_RPN = True  # Use RPN for proposals  
145.   
146.     args = parse_args()  #模式设置  
147.   
148.     prototxt = os.path.join(cfg.MODELS_DIR, NETS[args.demo_net][0],  #连接路径，设置prototxt文件  
149.                             'faster_rcnn_alt_opt', 'faster_rcnn_test.pt')  
150.     caffemodel = os.path.join(cfg.DATA_DIR, 'faster_rcnn_models',  
151.                               NETS[args.demo_net][1])  
152.   
153.     if not os.path.isfile(caffemodel):  
154.         raise IOError(('{:s} not found.\nDid you run ./data/script/'  
155.                        'fetch_faster_rcnn_models.sh?').format(caffemodel))  
156.   
157.     if args.cpu_mode:  
158.         caffe.set_mode_cpu()  
159.     else:  
160.         caffe.set_mode_gpu()  
161.         caffe.set_device(args.gpu_id)  
162.         cfg.GPU_ID = args.gpu_id  
163.     net = caffe.Net(prototxt, caffemodel, caffe.TEST)  #设置网络  
164.   
165.     print '\n\nLoaded network {:s}'.format(caffemodel)  
166.   
167.     # Warmup on a dummy image  
168.     im = 128 * np.ones((300, 500, 3), dtype=np.uint8)  
169.     for i in xrange(2):  #xrange是一个类，返回的是一个xrange对象  
170.         _, _= im_detect(net, im)  
171.     #用于演示的图片名  
172.     im_names = ['000456.jpg', '000542.jpg', '001150.jpg',  
173.                 '001763.jpg', '004545.jpg', '001.jpg', '002.jpg', '003.jpg',  
174.                 '004.jpg', '005.jpg', '006.jpg', '007.jpg', '008.jpg']  
175.     for im_name in im_names:  
176.         print '~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~'  
177.         print 'Demo for data/demo/{}'.format(im_name)  
178.         demo(net, im_name)  #逐个跑demo  
179.   
180.     plt.show()  

补充： 
参考博客：http://www.2cto.com/kf/201412/363654.html 
一 argparse 
简介： 
argparse是python用于解析命令行参数和选项的标准模块，用于代替已经过时的optparse模块。argparse模块的作用是用于解析命令行参数，例如python parseTest.py input.txt output.txt –user=name –port=8080。 
使用步骤： 
1：import argparse 
2：parser = argparse.ArgumentParser() 
3：parser.add_argument() 
4：parser.parse_args() 
解释：首先导入该模块；然后创建一个解析对象；然后向该对象中添加你要关注的命令行参数和选项，每一个add_argument方法对应一个你要关注的参数或选项；最后调用parse_args()方法进行解析；

二. IoU, 非极大值抑制 
参考之前博客： 
http://blog.csdn.net/u013129427/article/details/73162817