caffe特征可视化---python实现

原创 2018年04月17日 10:43:44

         这里主要测试了一下如何对利用caffe的python接口对特征进行可视化,从一次forword中取出param和blob里面的卷积核 和响应的卷积图。我主要是对caffe/models/bvlc_reference_caffenet/路径下的模型和网络配置文件进行了测试,模型为bvlc_reference_caffenet.caffemodel,配置文件为:deploy.prototxt,模型可能需要你自己下载,下载地址为http://dl.caffe.berkeleyvision.org/,当然你也可以用你自己训练得到的模型和网络配置文件,参考代码如下,注意下相应的文件路径:

 caffe_visual.py

# -*- coding:utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt
import os
import caffe
import sys
import pickle
import cv2

caffe_root = '/home/rongsong/Downloads/caffe-caffe-0.15/'   # Your caffe diretory path

deployPrototxt = '/home/rongsong/Downloads/caffe-caffe-0.15/models/bvlc_reference_caffenet/deploy.prototxt'
modelFile = '/home/rongsong/Downloads/caffe-caffe-0.15/models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel'
meanFile = 'python/caffe/imagenet/ilsvrc_2012_mean.npy'
#imageListFile = '/home/chenjie/DataSet/CompCars/data/train_test_split/classification/test_model431_label_start0.txt'
#imageBasePath = '/home/chenjie/DataSet/CompCars/data/cropped_image'
#resultFile = 'PredictResult.txt'

#网络初始化
def initilize():
    print 'initilize ... '
    sys.path.insert(0, caffe_root + 'python')
    caffe.set_mode_gpu()
    caffe.set_device(0)
    net = caffe.Net(deployPrototxt, modelFile,caffe.TEST)
    return net

#取出网络中的params和net.blobs的中的数据
def getNetDetails(image, net):
    # input preprocessing: 'data' is the name of the input blob == net.inputs[0]
    transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
    transformer.set_transpose('data', (2,0,1))
    transformer.set_mean('data', np.load(caffe_root + meanFile ).mean(1).mean(1)) # mean pixel
    transformer.set_raw_scale('data', 255)  
    # the reference model operates on images in [0,255] range instead of [0,1]
    transformer.set_channel_swap('data', (2,1,0))  
    # the reference model has channels in BGR order instead of RGB
    # set net to batch size of 50
    net.blobs['data'].reshape(1,3,227,227)

    net.blobs['data'].data[...] = transformer.preprocess('data', caffe.io.load_image(image))
    out = net.forward()
    
    #网络提取conv1的卷积核
    filters = net.params['conv1'][0].data
    with open('FirstLayerFilter.pickle','wb') as f:
       pickle.dump(filters,f)
    vis_square(filters.transpose(0, 2, 3, 1))
    #conv1的特征图
    feat = net.blobs['conv1'].data[0, :36]
    with open('FirstLayerOutput.pickle','wb') as f:
       pickle.dump(feat,f)
    vis_square(feat,padval=1)
    pool = net.blobs['pool1'].data[0,:36]
    with open('pool1.pickle','wb') as f:
       pickle.dump(pool,f)
    vis_square(pool,padval=1)


# 此处将卷积图和进行显示,
def vis_square(data, padsize=1, padval=0 ):
    data -= data.min()
    data /= data.max()
    
    #让合成图为方
    n = int(np.ceil(np.sqrt(data.shape[0])))
    padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))
    #合并卷积图到一个图像中
    
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
    print data.shape
    plt.imshow(data)
    plt.show()

if __name__ == "__main__":
   net = initilize()
   testimage = '/home/rongsong/Pictures/car0.jpg'     # Your test picture path
   getNetDetails(testimage, net)

测试图片及结果如下:

(a)输入的测试图像

                        

(b)第一层的卷积核和卷积图,可以看到一些明显的边缘轮廓,左侧是相应的卷积核

(c)第一个Pooling层的特征图

(d)第二层卷积特征图

参考链接:https://www.cnblogs.com/louyihang-loves-baiyan/p/5134671.html

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_33718563/article/details/79971172

Caffe 特征图可视化

特征图即网络在前向传播阶段的各层输出。 这里使用一个训练过的CaffeNet模型对一张猫的图片进行分类,使用matlab绘制出卷积层的特征图。...
  • u012938704
  • u012938704
  • 2016-10-09 16:00:39
  • 5627

caffe特征可视化

这篇博文对于caffe 网络训练到的特征进行可视化。 参考:  http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/example...
  • u011070171
  • u011070171
  • 2016-11-01 17:09:07
  • 1337

caffe之特征图可视化及特征提取

上一篇博客,介绍了怎么对训练好的model的各层权重可视化,这篇博客,我们介绍测试图片输入网络后产生的特征图的可视化 记得上篇中,我们是写了一个新的文件test.cpp,然后编译运行那个文件的,这是因...
  • zxj942405301
  • zxj942405301
  • 2017-05-05 13:48:42
  • 2139

caffe 提取特征并可视化(已测试可执行)及在线可视化

参考主页: http://lijiancheng0614.github.io/2015/08/21/2015_08_21_CAFFE_Features/ http://nbviewer.ipyth...
  • jiandanjinxin
  • jiandanjinxin
  • 2015-12-26 21:24:52
  • 20525

基于caffe的特征可视化

lian jie: http://www.shwley.com/index.php/archives/86/ 最近想看一看卷积神经网络中各层的卷积结果,但在网上搜索feature vis...
  • baobei0112
  • baobei0112
  • 2015-07-23 14:09:50
  • 1007

深度学习之-caffe预测、特征可视化python接口调用 (6)

原文地址:http://blog.csdn.net/hjimce/article/details/48972877 作者:hjimce 网上有很多caffe训练好的模型,有的时候我们仅仅想要方便的...
  • BigBzheng
  • BigBzheng
  • 2016-05-08 20:09:20
  • 469

【Python】【Caffe】五、参数、特征图可视化《python调用caffe模块》

一、参数可视化 #!/usr/bin/env python2 # -*- coding: utf-8 -*- """ Created on Sun Jul 30 22:15:05 2017 @au...
  • renhanchi
  • renhanchi
  • 2017-08-01 19:22:50
  • 529

caffe学习笔记(5):层的特征可视化

本文对各层及由各层得到的结果进行了可视化处理。
  • qq_30401249
  • qq_30401249
  • 2016-05-21 10:22:41
  • 9266

深度学习(九)caffe预测、特征可视化python接口调用

网上有很多caffe训练好的模型,有的时候我们仅仅想要方便的调用已经训练好的模型,利用python进行预测分类测试,查看可视化结果,这个时候,我们可以使用caffe为我们写好的python接口文件,我...
  • hjimce
  • hjimce
  • 2015-10-08 15:14:03
  • 10021

caffe预测、特征可视化python接口调用

转载自: 深度学习(九)caffe预测、特征可视化python接口调用 - hjimce的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/hjimce/arti...
  • qq_26898461
  • qq_26898461
  • 2015-12-29 16:56:46
  • 4712
收藏助手
不良信息举报
您举报文章:caffe特征可视化---python实现
举报原因:
原因补充:

(最多只允许输入30个字)