Python图像处理入门_imshow_collection

本章主要包括以下内容：

• 什么是图像处理及图像处理的应用；
• 图像处理流程；
• 在Python中安装不同的图像处理库；
• 使用Python进行图像输入/输出和显示；
• 处理不同的图像类型、文件格式并执行基本的图像操作。

1.1　什么是图像处理及图像处理的应用

什么是图像？它是如何存储在计算机里的？用Python编程如何处理？

1.1.1　什么是图像以及图像是如何存储的

从概念上讲，形式最简单的图像（单通道，例如二值或单色，灰度或黑白图像）是一个二维函数f(x,y)，即将坐标点映射到表示亮度/颜色相关的整数/实数。点称为像素或图像基本单位（图像元素）。一幅图像可以有多个通道（例如，对于彩色RGB图像，可以使用颜色表示三通道——红、绿、蓝）。彩色RGB图像的像素点(x,y)可以表示为三元组(rx,y, gx,y, bx,y)。

为了能够在计算机上描述图像，对于图像f(x,y)，必须在空间和振幅两方面进行数字化。空间坐标(x,y)的数字化称为图像抽样，振幅数字化称为灰度量化。在计算机中，通常将像素通道所对应的值表示为整数（0～255）或浮点数（0～1）。可以将图像存储为不同类型（格式）的文件。每个文件通常包括元数据和多维数组的数据（例如，二值或灰度图像的二维数组，RGB和YUV彩色图像的三维数组）。图1-1描述了如何将图像数据存储为不同类型图像的数组，正如图中所示，对于灰度图像，用“宽度×高度”（二维数组）的模式足以存储，而对于RGB图像，则需要用“宽度×高度×3”（三维数组）的模式存储。

图1-1　图像的存储

二值、灰度和RGB图像如图1-2所示。

图1-2　二值、灰度和RGB图像

本书重点讨论图像数据的处理，用Python库实现从图像中提取数据，并运用算法进行图像处理。样本图像均取自互联网——伯克利图像分割数据集、基准数据集，以及USC-SIPI图像数据库，其中大多都是用于图像处理的标准图像。

1.1.2　什么是图像处理

图像处理是指在计算机上使用算法和代码自动处理、操作、分析和解释图像，它广泛应用于诸多学科和领域，如电视、摄影、机器人、遥感、医学诊断和工业检验。像大众所熟知的Facebook和Instagram社交网站，面临用户每天都会上传大量图片的情况，它们是行业的典型案例，需要使用图像处理算法或对图像处理算法进行创新来处理上传的图片。

在本书中，我们用Python包来处理图像：首先，用一组库来做经典的图像处理——提取图像数据，用库函数的算法将数据转换为预处理、增强、复原、表示（用描述符）、分割、分类、检测和识别（对象），从而更好地分析、理解和解释数据；其次，我们用另一组库进行基于深度学习的图像处理——这种技术近年来变得非常热门。

1.1.3　图像处理的应用

图像处理的典型应用包括医学/生物领域（如X射线和CT扫描）、计算摄影（Photoshop）、指纹认证、人脸识别等。

1.2　图像处理流程

图像处理流程的基本步骤如下。

**（1）图像的获取与存储。**获取图像（如使用相机获取），并以文件的形式（如JPEG文件）存储在某些设备（如硬盘）上。

**（2）加载至内存并存盘。**从磁盘读取图像数据至内存，使用某种数据结构（如numpy ndarray）作为存储结构，之后将数据结构序列化到一个图像文件中，也可能是对图像上运行了算法之后。

**（3）操作、增强和复原。**需运行预处理算法完成如下任务。

① 图像转换（采样和操作，如灰度转换）；

② 图像质量增强（滤波，如图像由模糊变清晰）；

③ 图像降噪，图像复原。

**（4）图像分割。**为了提取感兴趣的对象，需要对图像进行分割。

**（5）信息提取/表示。**图像需以其他形式表示，如表示为以下几项。

① 一些可从图像中计算出来的手工标识的特征描述符（如HOG描述符、经典图像处理）。

② 一些可自动从图像中学习的功能（例如，在深度学习神经网络的隐藏层中学到权重和偏差值）。

③ 以另一种表示方法表示图像。

**（6）图像理解/图像解释。**以下表示形式可用于更好地理解图像。

① 图像分类（例如，图像是否包含人类对象）。

② 对象识别（例如，在带有边框的图像中查找car对象的位置）。

图像处理流程如图1-3所示。

图1-3　图像处理流程

用于各种图像处理任务的不同模块如 图1-4所示。除此之外，还会用到以下图像处理模块：

• （1）scipy.ndimage和opencv用于不同图像处理；
• （2）scikit-learn用于经典的机器学习；
• （3）tensorflow和keras用于深度学习。

图1-4　用于图像处理任务的不同模块

1.3　在Python中安装不同的图像处理库

后续将介绍如何安装不同的图像处理库，并为用Python经典图像处理技术进行图像处理编程设置环境。在本书的最后一些章节使用基于深度学习的方法时，需要使用不同的设置。

1.3.1　安装pip

用pip（或pip3）工具安装图像处理库。因此，如果还没安装它，先安装pip。如果使用从http://python.org下载的Python 3 >=3.4，或者已工作在由virtualenv或pyvenv创建的虚拟环境中，则说明pip已经安装好了，只需要确保pip升级即可。

1.3.2　在Python中安装图像处理库

Python有许多库可用于图像处理，如numpy、scipy、scikit-image、PIL（Pillow)、OpenCV、scikit-learn、SimpleITK和matplotlib。

matplotlib库主要用于图像显示，而numpy主要用于图像存储，scikit-learn库构建用于图像处理的机器学习模型，scipy主要用于图像增强，scikit-image、mahotas和opencv库用于不同的图像处理算法。

以下代码展示了通过Python提示符（交互模式），如何下载安装所需的库：

>>> pip install numpy
>>> pip install scipy
>>> pip install scikit-image
>>> pip install scikit-learn
>>> pip install pillow
>>> pip install SimpleITK
>>> pip install opencv-python
>>> pip install matplotlib

如果操作系统平台不同，可能还会用到一些附加的安装说明。读者应该浏览文档站点来获取每个库在特定平台详细安装库的说明。此外，读者应该熟悉stack overflow等网站，以解决不同平台依赖安装库的问题。

最后，可以通过Python提示符导入库来验证库是否安装正确。如果库成功导入（没有抛出错误消息），那么安装没有问题。可以将安装的库的版本打印到控制台。

scikit-image和PIL Python库的版本如下面的代码所示：

>>> import skimage, PIL, numpy
>>> print(skimage.__version__)
# 0.14.0
>>> PIL.__version__
# 5.1.0
>>> numpy.__version__
# 1.14.5

要确保所有库为最新版本。

1.3.3　安装Anaconda发行版

请下载并安装最新版本的Anaconda发行版，以免去直接安装众多的Python包的麻烦。

1.3.4　安装Jupyter笔记本

如果用Jupyter笔记本来编写Python代码，需要先通过python提示符安装jupyter包，即首先使用>>>pip install jupyter，然后使用>>>jupyter notebook，在浏览器中启动Jupyter Notebook应用程序。在应用程序中就可以创建新的Python笔记本并选择内核了。如果使用的是Anaconda，就不需要显式安装Jupyter，因为最新的Anaconda发行版本附带了Jupyter。

1.4　使用Python进行图像输入/输出和显示

由于图像是作为文件存储在磁盘上的，因此从文件中读取和写入图像是磁盘输入/输出操作。可以通过多种方式使用不同的库完成这些任务，本节给出了其中一些方式。从导入所有必需的包开始，代码如下。

# for inline image display inside notebook
# % matplotlib inline
import numpy as np
from PIL import Image, ImageFont, ImageDraw
from PIL.ImageChops import add, subtract, multiply, difference, screen
import PIL.ImageStat as stat
from skimage.io import imread, imsave, imshow, show, imread_collection,
imshow_collection
from skimage import color, viewer, exposure, img_as_float, data
from skimage.transform import SimilarityTransform, warp, swirl
from skimage.util import invert, random_noise, montage
import matplotlib.image as mpimg
import matplotlib.pylab as plt
from scipy.ndimage import affine_transform, zoom
from scipy import misc

1.4.1　使用PIL读取、保存和显示图像

PIL的open() 函数用于从Image对象的磁盘读取图像，如下面的代码所示。图像作为PIL.PngImagePlugin.PngImageFile类的对象加载，读者可以用宽度、高度和模式等属性来查找图像的大小[宽度×高度（像素）或分辨率]和模式。

im = Image.open("../images/parrot.png") # read the image, provide the correct path
print(im.width, im.height, im.mode, im.format, type(im))
# 453 340 RGB PNG <class 'PIL.PngImagePlugin.PngImageFile'>
im.show() # display the image

运行上述代码，输出结果如图1-5所示，从文件中读取图像，然后再将图像显示在屏幕上。

图1-5　读取的鹦鹉图像

用PIL函数convert()将彩色RGB图像转换为灰度图像，代码如下：

im_g = im.convert('L') # convert the RGB color image to a grayscale image
im_g.save('../images/parrot_gray.png') # save the image to disk
Image.open("../images/parrot_gray.png").show() # read the grayscale image from disk and show

运行上述代码，结果如图1-6所示，输出的是鹦鹉的灰度图像。

图1-6　输出鹦鹉的灰度图像

提供磁盘上图像的正确路径

建议创建一个文件夹（子目录）来存储要处理的图像（例如，对于Python代码示例，建议读者使用名为images的文件夹来存储图像），然后提供文件夹的路径以访问图像，以免出现“找不到文件”的异常。

1.4.2　使用matplotlib读取、保存和显示图像

接下来演示如何使用matplotlib.image中的imread()函数来读取浮点numpy ndarray中的图像，其中，像素值表示为介于0和1之间的真值。代码如下：

im = mpimg.imread("../images/hill.png") # read the image from disk as a
numpy ndarray
print(im.shape, im.dtype, type(im)) # this image contains anα
channel, hence num_channels= 4
# (960, 1280, 4) float32 <class 'numpy.ndarray'>
plt.figure(figsize=(10,10))
plt.imshow(im) # display the image
plt.axis('off')
plt.show()

运行上述代码，输出结果如图1-7所示。

图1-7　用imread()函数读取的山峰图像

接下来展示如何将图像更改为较暗的图像。首先将所有像素值设置为0～0.5之间的数，然后将numpy ndarray保存到磁盘。保存的图像将重新加载并显示。代码如下：

im1 = im
im1[im1 < 0.5] = 0 # make the image look darker
plt.imshow(im1)
plt.axis('off')
plt.tight_layout()
plt.savefig("../images/hill_dark.png") # save the dark image
im = mpimg.imread("../images/hill_dark.png") # read the dark image
plt.figure(figsize=(10,10))
plt.imshow(im)
plt.axis('off') # no axis ticks
plt.tight_layout()
plt.show()

运行上述代码，输出结果为较暗的山峰图像，如图1-8所示。

图1-8　较暗的山峰图像

使用matplotlib imshow()在显示时插值

matplotlib中的imshow()函数提供了多种不同类型的插值方法用以对图像进行绘制。当被绘制的图像很小时，这些方法特别有用。通过图1-9所示的尺寸为50×50的Lena图像来查看用不同插值方法绘制图像的效果。

图1-9　Lena图像

如下代码演示了如何通过imshow()使用不同的插值方法：

im = mpimg.imread("../images/lena_small.jpg") # read the image from disk as
a numpy ndarray
methods = ['none', 'nearest', 'bilinear', 'bicubic', 'spline16', 'lanczos']
fig, axes = plt.subplots(nrows=2, ncols=3, figsize=(15, 30),subplot_kw={'xticks': [],   


做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。



别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

* * *



**（1）Python所有方向的学习路线（新版）**

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



最近我才对这些路线做了一下新的更新，知识体系更全面了。



![在这里插入图片描述](https://img-blog.csdnimg.cn/8fc093dcfa1f476694c574db1242c05b.png)



**（2）Python学习视频**



包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。



![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)



**（3）100多个练手项目**

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。



![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)



**（4）200多本电子书**  

  

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。



基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。



**（5）Python知识点汇总**

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。



![在这里插入图片描述](https://img-blog.csdnimg.cn/c741a91b05a542ba9dc8abf2f2f4b1af.png)



**（6）其他资料**



还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。



![在这里插入图片描述](https://img-blog.csdnimg.cn/9fa77af248b84885a6ec779b2ead064d.png)

**这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。**




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**