win10+Python3.7.3+OpenCV3.4.1入门学习（十一 图像金字塔）————11.1 图像金字塔理论基础

Python版本是Python3.7.3，OpenCV版本OpenCV3.4.1，开发环境为PyCharm

第11章 图像金字塔

图像金字塔是由一幅图像的多个不同分辨率的子图所构成的图像集合。该组图像是由单个图像通过不断地降采样所产生的，最小的图像可能仅仅有一个像素点。下图是一个图像金字塔的示例。从图中可以看到，图像金字塔是一系列以金字塔形状排列的、自底向上分辨率逐渐降低的图像集合。

通常情况下，图像金字塔的底部是待处理的高分辨率图像（原始图像），而顶部则为其低分辨率的近似图像。向金字塔的顶部移动时，图像的尺寸和分辨率都不断地降低。通常情况下，每向上移动一级，图像的宽和高都降低为原来的二分之一。

11.1 理论基础

图像金字塔是同一图像不同分辨率的子图集合，是通过对原图像不断地向下采样而产生的，即由高分辨率的图像（大尺寸）产生低分辨率的近似图像（小尺寸）。
最简单的图像金字塔可以通过不断地删除图像的偶数行和偶数列得到。例如，有一幅图像，其大小是NN，删除其偶数行和偶数列后得到一幅(N/2)(N/2)大小的图像。经过上述处理后，图像大小变为原来的四分之一，不断地重复该过程，就可以得到该图像的图像金字塔。
也可以先对原始图像滤波，得到原始图像的近似图像，然后将近似图像的偶数行和偶数列删除以获取向下采样的结果。有多种滤波器可以选择。例如：
● 邻域滤波器：采用邻域平均技术求原始图像的近似图像。该滤波器能够产生平均金字塔。
● 高斯滤波器：采用高斯滤波器对原始图像进行滤波，得到高斯金字塔。这是OpenCV函数cv2.pyrDown()所采用的方式。
高斯金字塔是通过不断地使用高斯金字塔滤波、采样所产生的，其过程如下图所示。

经过上述处理后，原始图像与各次向下采样所得到的结果图像共同构成了高斯金字塔。例如，可以将原始图像称为第0层，第1次向下采样的结果图像称为第1层，第2次向下采样的结果图像称为第3层，以此类推。上述图像所构成的高斯金字塔如下图所示。在本章中为了便于表述，统一将图像金字塔中的底层称为第0层，底层上面的一层称为第1层，并以此类推。

在向上采样的过程中，通常将图像的宽度和高度都变为原来的2倍。这意味着，向上采样的结果图像的大小是原始图像的4倍。因此，要在结果图像中补充大量的像素点。对新生成的像素点进行赋值，称为插值处理，该过程可以通过多种方式实现，例如最临近插值就是用最邻近的像素点给当前还没有值的像素点赋值。
有一种常见的向上采样，对像素点以补零的方式完成插值。通常是在每列像素点的右侧插入值为零的列，在每行像素点的下方插入值为零的行。在下图中，左侧是要进行向上采样的4个像素点，右侧是向上采样时进行补零后的处理结果。

接下来，使用向下采样时所用的高斯滤波器（高斯核）对补零后的图像进行滤波处理，以获取向上采样的结果图像。但是需要注意，此时图像中四分之三像素点的值都是零。所以，要将高斯滤波器系数乘以4，以保证得到的像素值范围在其原有像素值范围内。
例如，针对图右侧的像素点，其对应的是8位图像，像素值的范围是[0, 255]。由于其中四分之三的像素点的值都为零，如果直接使用高斯滤波器对其进行卷积计算，会导致像素值的范围变为[0, 255*1/4]。所以，要将所使用的高斯滤波器系数乘以4，以保证得到像素值的范围仍旧在[0, 255]内。
或者，从另一个角度理解，在原始图像内每个像素点的右侧列插入零值列，在每个像素点的下一行插入零值行，将图像变为原来的两倍宽、两倍高。接下来，将补零后的图像用向下采样时所使用的高斯滤波器进行卷积运算。最后，将图像内每个像素点的值乘以4，以保证像素值的范围与原始图像的一致。
通过以上分析可知，向上采样和向下采样是相反的两种操作。但是，由于向下采样会丢失像素值，所以这两种操作并不是可逆的。也就是说，对一幅图像先向上采样、再向下采样，是无法恢复其原始状态的；同样，对一幅图像先向下采样、再向上采样也无法恢复到原始状态。