用Python做图像处理
最近在做一件比较 evil 的事情——验证码识别,以此来学习一些新的技能。因为我是初学,对图像处理方面就不太了解了,欲要利吾事,必先利吾器,既然只是做一下实验,那用 Python 来作原型开发再好不过了。在 Python 中,比较常用的图像处理库是 PIL(Python Image Library),当前版本是 1.1.6 ,用起来非常方便。大家可以在
http://www.pythonware.com/products/pil/index.htm 下载和学习。
在这里,我主要是介绍一下做图像识别时可能会用到的一些 PIL 提供的功能,比如图像增强、还有滤波之类的。最后给出使用 Python 做图像处理与识别的优势与劣势。
基本图像处理
使用 PIL 之前需要 import Image 模块:
import Image
然后你就可以使用Image.open(‘xx.bmp’) 来打开一个位图文件进行处理了。打开文件你不用担心格式,也不用了解格式,无论什么格式,都只要把文件名丢给 Image.open 就可以了。真所谓 bmp、jpg、png、gif……,一个都不能少。
img = Image.open(‘origin.png’) # 得到一个图像的实例对象 img
![](https://i-blog.csdnimg.cn/blog_migrate/8ed01760dab79e4028e4e5b33234acda.png)
图 1原图
图像处理中,最基本的就是色彩空间的转换。一般而言,我们的图像都是 RGB 色彩空间的,但在图像识别当中,我们可能需要转换图像到灰度图、二值图等不同的色彩空间。 PIL 在这方面也提供了极完备的支持,我们可以:
new_img = img.convert(‘L’)
把 img 转换为 256 级灰度图像, convert() 是图像实例对象的一个方法,接受一个 mode 参数,用以指定一种色彩模式,mode 的取值可以是如下几种:
· 1 (1-bit pixels, black and white, stored with one pixel per byte)
· L (8-bit pixels, black and white)
· P (8-bit pixels, mapped to any other mode using a colour palette)
· RGB (3x8-bit pixels, true colour)
· RGBA (4x8-bit pixels, true colour with transparency mask)
· CMYK (4x8-bit pixels, colour separation)
· YCbCr (3x8-bit pixels, colour video format)
· I (32-bit signed integer pixels)
· F (32-bit floating point pixels)
怎么样,够丰富吧?其实如此之处,PIL 还有限制地支持以下几种比较少见的色彩模式:LA (L with alpha), RGBX (true colour with padding) and RGBa (true colour with premultiplied alpha)。
下面看一下 mode 为 ‘1’、’L’、’P’时转换出来的图像:
![](https://i-blog.csdnimg.cn/blog_migrate/d99da072c09a9288b7f176bb52c3835b.gif)
图 2 mode = '1'
![](https://i-blog.csdnimg.cn/blog_migrate/90c588f64156fd60e938257099b84315.gif)
图 3 mode = 'L'
![](https://i-blog.csdnimg.cn/blog_migrate/f4665fae6ceb955429efd7ced88c486e.gif)
图 4 mode = 'P'
convert() 函数也接受另一个隐含参数 matrix,转换矩阵 matrix 是一个长度为4 或者16 tuple。下例是一个转换 RGB 空间到 CIE XYZ 空间的例子:
rgb2xyz = (
0.412453, 0.357580, 0.180423, 0,
0.212671, 0.715160, 0.072169, 0,
0.019334, 0.119193, 0.950227, 0 )
out = im.convert("RGB", rgb2xyz)
除了完备的色彩空间转换能力外, PIL 还提供了resize()、rotate()等函数以获得改变大小,旋转图片等几何变换能力,在图像识别方面,图像实例提供了一个 histogram() 方法来计算直方图,非常方便实用。
图像增强
图像增强通常用以图像识别之前的预处理,适当的图像增强能够使得识别过程达到事半功倍的效果。 PIL 在这方面提供了一个名为 ImageEnhance 的模块,提供了几种常见的图像增强方案:
import ImageEnhance
enhancer = ImageEnhance.Sharpness(image)
for i in range(8):
factor = i / 4.0
enhancer.enhance(factor).show("Sharpness %f" % factor)
上面的代码即是一个典型的使用 ImageEnhance 模块的例子。 Sharpness 是 ImageEnhance 模块的一个类,用以锐化图片。这一模块主要包含如下几个类:Color、Brightness、Contrast和Sharpness。它们都有一个共同的接口 .enhance(factor) ,接受一个浮点参数 factor,标示增强的比例。下面看看这四个类在不同的 factor 下的效果
![](https://i-blog.csdnimg.cn/blog_migrate/8551b8932814b03e8f0e35785cb694d1.gif)
![](https://i-blog.csdnimg.cn/blog_migrate/75647c942609a4fb6adf7d69047e47f9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/025400c6938e9bc5f2530ff73f47ec43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b5b04f9b5d3ee2b7ed3978d9a4039f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/304d7ef4fa3edfe0f11c5d6df3fbe67d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2d7a749db1da720d06ff7940b06a2dbb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d3f7696d694777abf46d964b0d3bddb2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/046504cd503e7114837b9db5d778e1e8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9577236ec807c756b8ee50801bbeb506.png)
图 5 使用Color 进行色彩增强,factor 取值 [0, 4],步进 0.5
![](https://i-blog.csdnimg.cn/blog_migrate/afee5fc637bb15ac84a8b35d133eccb9.gif)
![](https://i-blog.csdnimg.cn/blog_migrate/7f58d9008f927a8403e4ebbf347c5f31.png)
![](https://i-blog.csdnimg.cn/blog_migrate/265b7f591cc716c40ec3d39896035c0c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/dd05532ab118f6611b40363f616e0c79.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a38632daee699c10ba3d6fbe0b7052e5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d26e8a470fd575a384fe1d8d8dd5a72d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c2da143fc0e0144f5aff2edb6156bfe.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3eab96414a210ac8b1bef6ec8cbaaf57.png)
![](https://i-blog.csdnimg.cn/blog_migrate/297d2d84bbb479e1143ca2e3dcdbb323.png)
图 6 用 Birghtness 增强亮度,factor取值[0,4],步进0.5
![](https://i-blog.csdnimg.cn/blog_migrate/760c0dc85380862ef02cb4e086ee4853.gif)
![](https://i-blog.csdnimg.cn/blog_migrate/6b00b45389ad473c663c733ea2dc8c0a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/88bf8aab4668525e5450c63009d0c96b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5f19e3eb8a85198fc1d7e0a2890e549b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2183cfa654f61a5620f04bccfefec132.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c1a1dc2c556133f1673b0ecc757e1a05.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5920351d122a13e5dd9d5a90fe13aa70.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b39416bcc481f9bcc5e490015b59abbf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c3257207cc2d2ae019b7fefadef5c482.png)
图 7用 Contrast 增强对比度, factor 取值 [0,4],步进0.5
![](https://i-blog.csdnimg.cn/blog_migrate/5500a23a07247faa35c96e6de14aefd3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7b2abb5d56f5ee50ae7c6f3ec104e25a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f46dd6b657b9db5c3ae31542a78e94f1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a2a362f519c2bd41b9eea2d18ac68167.png)
![](https://i-blog.csdnimg.cn/blog_migrate/070f9c17f96ae3df418f006675c86bb1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ae822271a945266f400f4bc0e80d5b21.png)
![](https://i-blog.csdnimg.cn/blog_migrate/11dae6a57cb90fdbe0a23fcfab5fe5c6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ffa9a6aad420cb484c4e53989bb3b510.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ed21c149b612d14f6e535580ff86dd17.png)
图 8用 Sharpness 锐化图像,factor取值 [0,4],步进0.5
图像 Filter
PIL 在 Filter 方面的支持是非常完备的,除常见的模糊、浮雕、轮廓、边缘增强和平滑,还有中值滤波、ModeFilter等,简直方便到可以做自己做一个Photoshop。这些 Filter 都放置在 ImageFilter 模块中,ImageFilter主要包括两部分内容,一是内置的 Filter,如 BLUR、DETAIL等,另一部分是 Filter 函数,可以指定不同的参数获得不同的效果。示例如下:
import ImageFilter
im1 = im.filter(ImageFilter.BLUR)
im2 = im.filter(ImageFilter.MinFilter(3))
im3 = im.filter(ImageFilter.MinFilter()) # same as MinFilter(3)
可以看到 ImageFilter 模块的使用非常简单,每一个 Filter 都只需要一行代码就可调用,开发效率非常高。
![](https://i-blog.csdnimg.cn/blog_migrate/ff543a06ba2971933574f58209275fbf.png)
图 9使用 BLUR
![](https://i-blog.csdnimg.cn/blog_migrate/ca98c83031b39c0634badcdaf2a270c9.png)
图 10使用 CONTOUR
![](https://i-blog.csdnimg.cn/blog_migrate/a55fc4d2cc297e62d12fd3c4ce2f0935.png)
图 11使用 DETAIL
![](https://i-blog.csdnimg.cn/blog_migrate/ee15a7b8e53d3bbe5212260804e73c95.png)
图 12使用 EMBOSS
![](https://i-blog.csdnimg.cn/blog_migrate/771ea7dc167e0bd5002baa893985af3e.png)
图 13使用 EDGE_ENHANCE
![](https://i-blog.csdnimg.cn/blog_migrate/477d4841c049ba9b76435e555cde3e75.png)
图 14使用 EDGE_ENHANCE_MORE
![](https://i-blog.csdnimg.cn/blog_migrate/447691feb4adea603b0a656c6e687acd.png)
图 15使用 FIND_EDGES
![](https://i-blog.csdnimg.cn/blog_migrate/51dc7c3457f234a6ccd4fa51d1e62fca.png)
图 16使用 SHARPEN
![](https://i-blog.csdnimg.cn/blog_migrate/3c132187510cde2b3b7412578f7bd7fd.png)
图 17使用 SMOOTH
![](https://i-blog.csdnimg.cn/blog_migrate/e2529fb454c631055e2c1f3d2b49e458.png)
图 18使用 SMOOTH_MORE
以上是几种内置的 Filter 的效果图,除此之外, ImageFilter 还提供了一些 Filter 函数,下面我们来看看这些可以通过参数改变行为的 Filter 的效果:
![](https://i-blog.csdnimg.cn/blog_migrate/478e7d1ff340239c692aa1f5dc46b3ac.png)
图 19使用 Kernel(),参数:size = (3, 3), kernel = (0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5)
![](https://i-blog.csdnimg.cn/blog_migrate/5da8d345eaac1c1b323dd8f839d6478e.png)
图 20使用 MaxFilter,默认参数
![](https://i-blog.csdnimg.cn/blog_migrate/364ebc0e892520a65c970e16c061a88f.png)
图 21使用 MinFilter,默认参数
![](https://i-blog.csdnimg.cn/blog_migrate/ed38ed5513896d4ea32ef104c12cf8f9.png)
图 22使用 MedianFilter,默认参数
![](https://i-blog.csdnimg.cn/blog_migrate/d2c99aa65101448b39314642ccb90ac3.png)
图 23使用 ModeFilter,参数 size = 3
![](https://i-blog.csdnimg.cn/blog_migrate/8382c2f88d931e29ea65940d87105a9c.png)
图 24使用 RankFilter,参数 size = 3, rank = 3
小结
到此,对 PIL 的介绍就告一段落了。总的来说,对于图像处理和识别,PIL 内建了强大的支持,从各种增强算法到 Filter ,都让人无法怀疑使用 Python 的可行性。 Python唯一的劣势在于执行时间过慢,特别是当实现一些计算量大的算法时候,需要极强的耐心。我曾用 Hough Transform(霍夫变换)来查找图像中的直线,纯 Python 的实现处理一个 340 * 100 的图片也要花去数秒时间(P4 3.0G + 1G memory)。但使用 PIL 无需关注图像格式、内建的图像增强算法和 Filter 算法,这些优点使 Python 适合用于构造原型和进行实验,在这两方面Python 比 matlab 更加方便。商业的图像识别产品开发,可以考虑已经被 boost accepted的来自 adobe 的开源 C++ 库 gil,可以兼顾执行性能和开发效率。