CAFFE- faster rcnn修改demo.py保存网络中间结果

转载 2016年05月31日 19:41:21
faster rcnn用python版本https://github.com/rbgirshick/py-faster-rcnn

以demo.py中默认网络VGG16.

原本demo.py地址https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/demo.py

图有点多,贴一个图的本分结果出来:


上图是原图,下面第一张是网络中命名为“conv1_1”的结果图;第二张是命名为“rpn_cls_prob_reshape”的结果图;第三张是“rpnoutput”的结果图

看一下我修改后的代码:

#!/usr/bin/env python

# --------------------------------------------------------
# Faster R-CNN
# Copyright (c) 2015 Microsoft
# Licensed under The MIT License [see LICENSE for details]
# Written by Ross Girshick
# --------------------------------------------------------

"""
Demo script showing detections in sample images.

See README.md for installation instructions before running.
"""

import _init_paths
from fast_rcnn.config import cfg
from fast_rcnn.test import im_detect
from fast_rcnn.nms_wrapper import nms
from utils.timer import Timer
import matplotlib.pyplot as plt
import numpy as np
import scipy.io as sio
import caffe, os, sys, cv2
import argparse
import math

CLASSES = ('__background__',
           'aeroplane', 'bicycle', 'bird', 'boat',
           'bottle', 'bus', 'car', 'cat', 'chair',
           'cow', 'diningtable', 'dog', 'horse',
           'motorbike', 'person', 'pottedplant',
           'sheep', 'sofa', 'train', 'tvmonitor')

NETS = {'vgg16': ('VGG16',
                  'VGG16_faster_rcnn_final.caffemodel'),
        'zf': ('ZF',
                  'ZF_faster_rcnn_final.caffemodel')}


def vis_detections(im, class_name, dets, thresh=0.5):
    """Draw detected bounding boxes."""
    inds = np.where(dets[:, -1] >= thresh)[0]
    if len(inds) == 0:
        return

    im = im[:, :, (2, 1, 0)]
    fig, ax = plt.subplots(figsize=(12, 12))
    ax.imshow(im, aspect='equal')
    for i in inds:
        bbox = dets[i, :4]
        score = dets[i, -1]

        ax.add_patch(
            plt.Rectangle((bbox[0], bbox[1]),
                          bbox[2] - bbox[0],
                          bbox[3] - bbox[1], fill=False,
                          edgecolor='red', linewidth=3.5)
            )
        ax.text(bbox[0], bbox[1] - 2,
                '{:s} {:.3f}'.format(class_name, score),
                bbox=dict(facecolor='blue', alpha=0.5),
                fontsize=14, color='white')

    ax.set_title(('{} detections with '
                  'p({} | box) >= {:.1f}').format(class_name, class_name,
                                                  thresh),
                  fontsize=14)
    plt.axis('off')
    plt.tight_layout()
    #plt.draw()
def save_feature_picture(data, name, image_name=None, padsize = 1, padval = 1):
    data = data[0]
    #print "data.shape1: ", data.shape
    n = int(np.ceil(np.sqrt(data.shape[0])))
    padding = ((0, n ** 2 - data.shape[0]), (0, 0), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
    #print "padding: ", padding
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))
    #print "data.shape2: ", data.shape
    
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
    #print "data.shape3: ", data.shape, n
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
    #print "data.shape4: ", data.shape
    plt.figure()
    plt.imshow(data,cmap='gray')
    plt.axis('off')
    #plt.show()
    if image_name == None:
        img_path = './data/feature_picture/' 
    else:
        img_path = './data/feature_picture/' + image_name + "/"
        check_file(img_path)
    plt.savefig(img_path + name + ".jpg", dpi = 400, bbox_inches = "tight")
def check_file(path):
    if not os.path.exists(path):
        os.mkdir(path)
def demo(net, image_name):
    """Detect object classes in an image using pre-computed object proposals."""

    # Load the demo image
    im_file = os.path.join(cfg.DATA_DIR, 'demo', image_name)
    im = cv2.imread(im_file)

    # Detect all object classes and regress object bounds
    timer = Timer()
    timer.tic()
    scores, boxes = im_detect(net, im)
    for k, v in net.blobs.items():
        if k.find("conv")>-1 or k.find("pool")>-1 or k.find("rpn")>-1:
            save_feature_picture(v.data, k.replace("/", ""), image_name)#net.blobs["conv1_1"].data, "conv1_1") 
    timer.toc()
    print ('Detection took {:.3f}s for '
           '{:d} object proposals').format(timer.total_time, boxes.shape[0])

    # Visualize detections for each class
    CONF_THRESH = 0.8
    NMS_THRESH = 0.3
    for cls_ind, cls in enumerate(CLASSES[1:]):
        cls_ind += 1 # because we skipped background
        cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)]
        cls_scores = scores[:, cls_ind]
        dets = np.hstack((cls_boxes,
                          cls_scores[:, np.newaxis])).astype(np.float32)
        keep = nms(dets, NMS_THRESH)
        dets = dets[keep, :]
        vis_detections(im, cls, dets, thresh=CONF_THRESH)

def parse_args():
    """Parse input arguments."""
    parser = argparse.ArgumentParser(description='Faster R-CNN demo')
    parser.add_argument('--gpu', dest='gpu_id', help='GPU device id to use [0]',
                        default=0, type=int)
    parser.add_argument('--cpu', dest='cpu_mode',
                        help='Use CPU mode (overrides --gpu)',
                        action='store_true')
    parser.add_argument('--net', dest='demo_net', help='Network to use [vgg16]',
                        choices=NETS.keys(), default='vgg16')

    args = parser.parse_args()

    return args

def print_param(net):
    for k, v in net.blobs.items():
	print (k, v.data.shape)
    print ""
    for k, v in net.params.items():
	print (k, v[0].data.shape)  

if __name__ == '__main__':
    cfg.TEST.HAS_RPN = True  # Use RPN for proposals

    args = parse_args()

    prototxt = os.path.join(cfg.MODELS_DIR, NETS[args.demo_net][0],
                            'faster_rcnn_alt_opt', 'faster_rcnn_test.pt')
    #print "prototxt: ", prototxt
    caffemodel = os.path.join(cfg.DATA_DIR, 'faster_rcnn_models',
                              NETS[args.demo_net][1])

    if not os.path.isfile(caffemodel):
        raise IOError(('{:s} not found.\nDid you run ./data/script/'
                       'fetch_faster_rcnn_models.sh?').format(caffemodel))

    if args.cpu_mode:
        caffe.set_mode_cpu()
    else:
        caffe.set_mode_gpu()
        caffe.set_device(args.gpu_id)
        cfg.GPU_ID = args.gpu_id
    net = caffe.Net(prototxt, caffemodel, caffe.TEST)
    
    #print_param(net)

    print '\n\nLoaded network {:s}'.format(caffemodel)

    # Warmup on a dummy image
    im = 128 * np.ones((300, 500, 3), dtype=np.uint8)
    for i in xrange(2):
        _, _= im_detect(net, im)

    im_names = ['000456.jpg', '000542.jpg', '001150.jpg',
                '001763.jpg', '004545.jpg']
    for im_name in im_names:
        print '~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~'
        print 'Demo for data/demo/{}'.format(im_name)
        demo(net, im_name)

    #plt.show()
1.在data下手动创建“feature_picture”文件夹就可以替换原来的demo使用了。

2.上面代码主要添加方法是:save_feature_picture,它会对网络测试的某些阶段的数据处理然后保存。

3.某些阶段是因为:if k.find("conv")>-1 or k.find("pool")>-1 or k.find("rpn")>-1这行代码(110行),保证网络层name有这三个词的才会被保存,因为其他层无法用图片

保存,如全连接(参数已经是二维的了)等层。

4.放开174行print_param(net)的注释,就可以看到网络参数的输出。

5.执行的最终结果 是在data/feature_picture产生以图片名字为文件夹名字的文件夹,文件夹下有以网络每层name为名字的图片。

6.另外部分网络的层name中有非法字符不能作为图片名字,我在代码的111行只是把‘字符/’剔除掉了,所以建议网络名字不要又其他字符。

图片下载和代码下载方式:

git clone https://github.com/meihuakaile/faster-rcnn.git

RCNN的安装与简单使用

最近准备从物体检测的角度来重新审视文本检测这个方向,所以看了下CNN大火以后的几篇经典文献,OverFeat,Region CNN, Dense Neural Pattern等等。 对这个方向来说,百...
  • kuaitoukid
  • kuaitoukid
  • 2015年07月03日 16:09
  • 24173

caffe学习笔记12 -- R-CNN detection

这是caffe文档中Notebook Examples的倒数第二个例子,链接地址http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/ex...
  • thystar
  • thystar
  • 2016年02月24日 16:09
  • 11934

【目标检测】RCNN算法详解

深度学习用于目标检测的RCNN算法
  • shenxiaolu1984
  • shenxiaolu1984
  • 2016年04月05日 23:10
  • 73630

Faster R-CNN 的Caffe实现

Faster R-CNN是一种object detection算法,这里记录下Faster R-CNN的Caffe实现。 git地址:https://github.com/rbgirshick/py...
  • u014380165
  • u014380165
  • 2017年05月24日 19:49
  • 4279

fast-rcnn训练实战

这一周训练了一个fast-rcnn网络,趁着还没有忘记先记一笔。 关于图片检测detection这一类问题,随着CNN的流行出现了许多新的方法与系统。其中RCNN就是比较出名的一个。Rcnn的论文在此...
  • leo_is_ant
  • leo_is_ant
  • 2015年12月12日 16:04
  • 8276

Windows 下(VS2013)编译 Caffe Fast RCNN (CPU Only)

本来想用VS2015编译,结果发现太多问题,加之前期不熟练,走了很多弯路,最后还是重新安装了VS2013(与VS2105并存)然后进行编译才通过。写下了提供给和我一样在走弯路的人。 一、准备工作 1、...
  • light169
  • light169
  • 2017年01月23日 17:13
  • 2527

纯C++版的Faster-Rcnn(通过caffe自定义RPN层实现)

这里介绍的是通过添加自定义层(RPN层)代替python层,实现c++版的faster-rcnn,因为去掉python了,所以部署时不会因为牵扯到python库等其它的莫名其妙的错误,使用起来就跟单纯...
  • a8039974
  • a8039974
  • 2017年09月15日 15:48
  • 326

使用Faster-Rcnn进行目标检测(实践篇)

原理上一篇文章,已经说过了,大家可以参考一下,Faster-Rcnn进行目标检测(原理篇)实验我使用的代码是python版本的Faster Rcnn,官方也有Matlab版本的,链接如下:py-fas...
  • Gavin__Zhou
  • Gavin__Zhou
  • 2016年07月28日 10:42
  • 39119

Faster rcnn 安装、训练、测试、调试

Faster rcnn 安装、训练自己的数据、测试、调参
  • lilai619
  • lilai619
  • 2016年11月07日 20:58
  • 4585

Faster-RCNN下Caffe安装笔记

最近在使用Faster-RCNN进行图像识别,由于Faster-RCNN依赖于Caffe,于是花了点时间安装了Caffe,把自己的经验教训总结一下: 1. git clone --recursiv...
  • zyzn5288
  • zyzn5288
  • 2017年11月14日 14:10
  • 108
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:CAFFE- faster rcnn修改demo.py保存网络中间结果
举报原因:
原因补充:

(最多只允许输入30个字)