pycaffe的RGB图像转换问题

由于做的是多标签回归问题，转的HDF5格式，发现图像转化通道问题是一个大坑

以下转自：https://blog.csdn.net/u013841196/article/details/72799680

使用python对Caffe框架训练好的模型进行识别时发现通道转换的若干问题：

要注意一点的就是：Caffe中彩色图像的通道是BGR格式，图像存储是【0,255】

1.caffe.io.load_image方式

[python] view plain copy

1.   

[python] view plain copy

1. image = caffe.io.load_image(image_file) #加载图片  

使用caffe.io.load_image()读进来的是RGB格式和0~1(float）

所以在进行识别之前要在transformer中设置transformer.set_raw_scale('data',255)(缩放至0~255）

以及transformer.set_channel_swap('data',(2,1,0)(将RGB变换到BGR）

[python] view plain copy

1. # python中将图片存储为[0, 1]，而caffe中将图片存储为[0, 255]，所以需要一个转换  
2. transformer.set_raw_scale('data', 255)      # 缩放到[0，255]之间  
3. transformer.set_channel_swap('data', (2,1,0))   #交换通道，将图片由RGB变为BGR（caffe中图片是BGR格式，而原始格式是RGB，所以要转化）    

2.使用cv2.imread()来读取图片

cv2.imread()接口读图像，读进来直接是BGR 格式and 0~255

所以不需要再缩放到【0,255】和通道变换【2,1,0】，不需要transformer.set_raw_scale('data',255)和transformer.set_channel_swap('data',(2,1,0)）

3.使用PIL来读取图片

对于彩色图像，不管其图像格式是PNG，还是BMP，或者JPG，在PIL中，使用Image模块的open()函数打开后，返回的图像对象的模式都是“RGB”。而对于灰度图像，不管其图像格式是PNG，还是BMP，或者JPG，打开后，其模式为“L”。所以需要转换格式，但不需要缩放到[0，255]

[python] view plain copy

1. data = np.array(Image.open(self.dataRoot+img_list))  
2. data = np.transpose(data,(2,0,1))#转换通道  
3. data[[0,2],...] = data[[2,0],...] #RGB→BGR  

4.对于matlab来说

Caffe中的blobs格式是N*C*H*W，分别是数量Number，通道数Channel，以及宽度Height和宽度Width

而matlab中是先宽后高，即[w，h]，图像的通道是RGB

所以需要进行相应的转换：

im_data = im (:,:,[3,2,1]) ; %RGB to BGR

im_data = permute(im_data, [2,1,3]); %旋转高度和宽度

最后，分享一个Caffe的典型python识别代码：

[python] view plain copy

1. # -*- coding: utf-8 -*-  
2. """ 
3. Created on Sun May 28 16:00:47 2017 
4. @author: fancp，#windows下CPU模式 
5. """  
6. import numpy as np  
7. import caffe  
8. import sys  
9. caffe_root = 'F:/Caffe' #########你自己的Caffe路径  
10. sys.path.insert(0, caffe_root + '/python')  
11.   
12. size = 227 #训练的图片尺寸  
13. image_file = 'F:/.../.../nihao.jpg'#图片路径  
14. model_def = 'F:/.../.../deploy.prototxt'#deploy模型文件位置  
15. model_weights = 'F:/.../.../_iter_20000.caffemodel'#训练完的模型位置  
16. net = caffe.Net(model_def, model_weights, caffe.TEST)      
17.   
18. # 加载均值文件    
19. mu = np.load(caffe_root + '/python/caffe/imagenet/ilsvrc_2012_mean.npy')  ###caffe 自带的文件  
20. mu = mu.mean(1).mean(1)  # average over pixels to obtain the mean (BGR) pixel values    
21. ###########################下面这5句等同与上面两句，选择其一#################  
22. #blob = caffe.proto.caffe_pb2.BlobProto()  
23. #mean_data = open( 'mean.binaryproto' , 'rb' ).read()  
24. #blob.ParseFromString(mean_data)  
25. #mu = np.array(caffe.io.blobproto_to_array(blob))  
26. #mu = mu.mean(1).mean(1).mean(1)  
27. ##############################################################################  
28. #图片预处理   
29. transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape}) ##设定图片的shape格式(1,3,227,227)，大小由deploy 文件指定  
30. # python读取的图片文件格式为H×W×K，需转化为K×H×W  
31. transformer.set_transpose('data', (2,0,1))  #改变维度的顺序，由原始图片(227,227,3)变为(3,227,227)   
32. transformer.set_mean('data', mu)            # 每个通道减去均值  
33.   
34. # python中将图片存储为[0, 1]，而caffe中将图片存储为[0, 255]，所以需要一个转换  
35. transformer.set_raw_scale('data', 255)      # 缩放到【0，255】之间  
36. transformer.set_channel_swap('data', (2,1,0))   #交换通道，将图片由RGB变为BGR（caffe中图片是BGR格式，而原始格式是RGB，所以要转化）    
37. net.blobs['data'].reshape(1,3,size, size)  # 将输入图片格式转化为合适格式（与deploy文件相同）  
38. #上面这句，第一参数：图片数量 第二个参数 ：通道数 第三个参数：图片高度 第四个参数：图片宽度  
39.   
40. image = caffe.io.load_image(image_file) #加载图片  
41. # 用上面的transformer.preprocess来处理刚刚加载图片  
42. net.blobs['data'].data[...]  = transformer.preprocess('data', image)     
43.   
44. ### perform classification  
45. caffe.set_mode_cpu()  
46. output = net.forward()  
47. #print output  
48. output_prob = output['prob'][0].argmax()  # 给出概率最高的是第几类，需要自己对应到我们约定的类别去  

注：根据自己的训练模型进行修改，这个是AlexNet上的修改

完毕！