Python常用图像处理库整理

转：https://zhuanlan.zhihu.com/p/34837506

1. 库简介

深度学习领域，对视频图片样本的处理占了很大一部分比重。

而Python环境下的图像处理库种类较多，无论是精度，速度等方面都有不同的差异，这里予以总结。

 

Python环境下，相关的包有：

Numpy：主要作为图像数据的中转

Skimage：速度较慢，主要是caffe测试的时候默认的caffe.io.load使用，不建议使用（Skimage，读取RGB，通道HWC，范围[0,1]）

 

 

主要的图像处理包：

CV2：opencv的python版本，应用较广

PIL：Python自带的图像处理库，但功能较简单

Pillow: 出发点在于PIL只支持python2.7，添加了一些新特性

Pillow-SIMD：Pillow增强版本，约有5倍的增益，比CV2还要快；安装方法：

$ pip uninstall
pillow

$ CC="cc
-mavx2" pip install -U --force-reinstall pillow-simd

Matplotlib：一般使用matplot.pyplot方法进行画图；

 

 

 

 

2. 平台需求

Caffe需要的图像格式是BGR，通道类型是CHW，范围[0,255]；

 

后续的深度学习平台例如Pytorch需要的图像格式是RGB，通道类型CHW，范围[0,1]；

（注：平台通道类型的要求CHW实际上是CUDA高效运算的需求，NCHW）

 

3. 常用库

• Numpy

Numpy对多维矩阵A的操作一般有：

A.shape #HWC

type(A) #numpy.array

A.dtype() #uint8,
float…

np.min(A), np.max(A) #最值

 

• CV2

读取BGR，通道HWC，范围[0,255] ，类型uint8; 图像类型numpy.ndarray；

 

• PIL，Pillow, Pillow-SIMD

读取RGB，通道HWC，范围[0,255]，类型uint8；图像类型PngImageFile （np.array, Image.fromarray直接与numpy互相转换）

有.mode方法---rgb信息

 

• Matplotlib

读取RGB，通道HWC，范围[0,1] ，类型float；图像类型numpy.ndarray

 

• Skimage

读取RGB，通道HWC，范围[0,255]，类型uint8；图像类型numpy.ndarray

有.mode方法---rgb信息

比较特殊，读取的时候image= io.imread('test.jpg',as_grey=False)；

彩图是uint8，[0,255]；灰度图float，[0,1]；

彩图resize变成float，[0,1]；

较混乱，不适用。。。

 

4. 读取

• CV2

#默认读取为三通道彩图，可通过参数更改为单通道灰度图

img = cv2.imread('examples.png')

img_gray = cv2.imread('examples.png', 0)

 

• PIL，Pillow, Pillow-SIMD

img = Image.open('examples.png')

 

• Matplotlib

img = plt.imread('examples.png')

5. 显示

Matplotlib最主要目的是用来绘图:

将numpy数组格式的RGB图像显示；

float类型的图像，范围0-1；如果是uint8图像，范围是0-255；

 

• Matplotlib

img = plt.imread('examples.png')

plt.imshow(img)

plt.show()

 

• CV2

img = cv2.imread('examples.png')

plt.imshow(img[..., -1::-1]) # 因为opencv读取进来的是bgr顺序，而imshow需要的是rgb顺序，因此需要先反过来,也可以plt.imshow(img[:,:,::-1])

plt.show()

 

• PIL

#可直接打开

plt.imshow(Image.open('examples.png')) # 实际上plt.imshow可以直接显示PIL格式图像

plt.show()

#转换为需要的numpy格式打开

img_gray = img.convert('L') #转换成灰度图像

img = np.array(img)

img_gray = np.array(img_gray)

plt.imshow(img) # or plt.imshow(img / 255.0)5

plt.show()

plt.imshow(img_gray, cmap=plt.gray()) # 显示灰度图要设置cmap参数

plt.show()

 

 

6. 转换

主要是通过numpy的transpose操作，修正RGB，BGR；

例如：

a是rgb图像，那么

a[::-1]，a[:,::-1]，a[:,:,::-1]分别是X轴的镜像，Y轴的镜像，BGR转换为RGB；

 

opencv相关图像操作；

img_gray = cv2.cvtColor(img,
cv2.COLOR_BGR2GRAY) # BGR转灰度

img_bgr = cv2.cvtColor(img_gray,
cv2.COLOR_GRAY2BGR) # 灰度转BRG

img_rgb = cv2.cvtColor(img_gray,
cv2.COLOR_GRAY2RGB) # 灰度转RGB

 

b,g,r = cv2.split(img) #bgr图像分离三个通道

img2 = cv2.merge([r,g,b]) #merge成rgb图像

 

PIL相关图像操作：

img = Image.open('examples.png')

img_gray = image.convert(‘L’)

img_color = img_gray.convert(‘RGB’)

 

 

PIL与numpy格式转换操作：

numpy.asarray()

Image.fromarray()

如果是pil转opencv，记得需要通过copy命令得到的才可以进行cv2操作，不然会有bug。切忌

 

 

 

 

PIL类型，尺寸信息，通过.size方法，得到WH；

Numpy类型，通过shape方法，得到HWC

注：如果是PIL自己的类型，得到尺寸信息要使用.size方法

print image.size #width height

同样进行resize操作，顺序也是wh；

img2_resize = img2.resize((960,540))

img2_resize.save('test1.jpg')

而如果使用cv2操作，顺序也是wh；

img3_resize = cv2.resize(img3, (960,540))

cv2.imwrite('test2.jpg', img3_resize)

但如果放在numpy里面，调用shape方法，得到的是HWC；

 

7. 保存

• PIL

#直接save方法

img = Image.open('examples.png')

img.save('examples2.png')

img_gray = img.convert('L')

img_gray.save('examples_gray.png') # 不管是灰度还是彩色，直接用save函数保存就可以，但注意，只有PIL格式的图片能够用save函数

 

• CV2

#cv2.imwrite

import cv2

img = cv2.imread('examples.png') # 这是BGR图片

cv2.imwrite('examples2.png', img) # 这里也应该用BGR图片保存，这里要非常注意，因为用pylab或PIL读入的图片都是RGB的，如果要用opencv存图片就必须做一个转换

img_gray = cv2.cvtColor(img,
cv2.COLOR_BGR2GRAY)

cv2.imwrite('examples_gray.png', img_gray)