pycaffe做识别时通道转换问题

使用python对Caffe框架训练好的模型进行识别时发现通道转换的若干问题：

要注意一点的就是：Caffe中彩色图像的通道是BGR格式，图像存储是【0,255】

1.caffe.io.load_image方式

 

image = caffe.io.load_image(image_file) #加载图片

 

使用caffe.io.load_image()读进来的是RGB格式和0~1(float）

所以在进行识别之前要在transformer中设置transformer.set_raw_scale('data',255)(缩放至0~255）

以及transformer.set_channel_swap('data',(2,1,0)(将RGB变换到BGR）

 

# python中将图片存储为[0, 1]，而caffe中将图片存储为[0, 255]，所以需要一个转换
transformer.set_raw_scale('data', 255)      # 缩放到[0，255]之间
transformer.set_channel_swap('data', (2,1,0))   #交换通道，将图片由RGB变为BGR（caffe中图片是BGR格式，而原始格式是RGB，所以要转化）  

 

2.使用cv2.imread()来读取图片

cv2.imread()接口读图像，读进来直接是BGR 格式and 0~255

所以不需要再缩放到【0,255】和通道变换【2,1,0】，不需要transformer.set_raw_scale('data',255)和transformer.set_channel_swap('data',(2,1,0)）

3.使用PIL来读取图片

对于彩色图像，不管其图像格式是PNG，还是BMP，或者JPG，在PIL中，使用Image模块的open()函数打开后，返回的图像对象的模式都是“RGB”。而对于灰度图像，不管其图像格式是PNG，还是BMP，或者JPG，打开后，其模式为“L”。所以需要转换格式，但不需要缩放到[0，255]

 

data = np.array(Image.open(self.dataRoot+img_list))
data = np.transpose(data,(2,0,1))#转换通道
data[[0,2],...] = data[[2,0],...] #RGB→BGR

 

4.对于matlab来说

 

Caffe中的blobs格式是N*C*H*W，分别是数量Number，通道数Channel，以及宽度Height和宽度Width

而matlab中是先宽后高，即[w，h]，图像的通道是RGB

所以需要进行相应的转换：

im_data = im (:,:,[3,2,1]) ; %RGB to BGR

im_data = permute(im_data, [2,1,3]); %旋转高度和宽度

最后，分享一个Caffe的典型python识别代码：

 

# -*- coding: utf-8 -*-
"""
Created on Sun May 28 16:00:47 2017
@author: fancp，#windows下CPU模式
"""
import numpy as np
import caffe
import sys
caffe_root = 'F:/Caffe' #########你自己的Caffe路径
sys.path.insert(0, caffe_root + '/python')

size = 227 #训练的图片尺寸
image_file = 'F:/.../.../nihao.jpg'#图片路径
model_def = 'F:/.../.../deploy.prototxt'#deploy模型文件位置
model_weights = 'F:/.../.../_iter_20000.caffemodel'#训练完的模型位置
net = caffe.Net(model_def, model_weights, caffe.TEST)    

# 加载均值文件  
mu = np.load(caffe_root + '/python/caffe/imagenet/ilsvrc_2012_mean.npy')  ###caffe 自带的文件
mu = mu.mean(1).mean(1)  # average over pixels to obtain the mean (BGR) pixel values  
###########################下面这5句等同与上面两句，选择其一#################
#blob = caffe.proto.caffe_pb2.BlobProto()
#mean_data = open( 'mean.binaryproto' , 'rb' ).read()
#blob.ParseFromString(mean_data)
#mu = np.array(caffe.io.blobproto_to_array(blob))
#mu = mu.mean(1).mean(1).mean(1)
##############################################################################
#图片预处理 
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape}) ##设定图片的shape格式(1,3,227,227)，大小由deploy 文件指定
# python读取的图片文件格式为H×W×K，需转化为K×H×W
transformer.set_transpose('data', (2,0,1))  #改变维度的顺序，由原始图片(227,227,3)变为(3,227,227) 
transformer.set_mean('data', mu)            # 每个通道减去均值

# python中将图片存储为[0, 1]，而caffe中将图片存储为[0, 255]，所以需要一个转换
transformer.set_raw_scale('data', 255)      # 缩放到【0，255】之间
transformer.set_channel_swap('data', (2,1,0))   #交换通道，将图片由RGB变为BGR（caffe中图片是BGR格式，而原始格式是RGB，所以要转化）  
net.blobs['data'].reshape(1,3,size, size)  # 将输入图片格式转化为合适格式（与deploy文件相同）
#上面这句，第一参数：图片数量 第二个参数 ：通道数 第三个参数：图片高度 第四个参数：图片宽度

image = caffe.io.load_image(image_file) #加载图片
# 用上面的transformer.preprocess来处理刚刚加载图片
net.blobs['data'].data[...]  = transformer.preprocess('data', image)   

### perform classification
caffe.set_mode_cpu()
output = net.forward()
#print output
output_prob = output['prob'][0].argmax()  # 给出概率最高的是第几类，需要自己对应到我们约定的类别去

 

注：根据自己的训练模型进行修改，这个是AlexNet上的修改

完毕！