OpenCV库的学习笔记（十）Image Pyramids

目标

• 我们将了解图像金字塔。
• 我们将使用图像金字塔来创建一个新水果“Orapple”。
• 我们会看到这些函数：cv.pyrUp(), cv.pyrDown()。

理论

通常，我们过去常常使用固定大小的图像。但在某些情况下，我们需要使用不同分辨率的（相同）图像。例如，在搜索图像中的某些东西（如人脸）时，我们不确定该对象将以多大的尺寸出现在所述图像中。在这种情况下，我们将需要创建一组具有不同分辨率的相同图像，并在所有图像中搜索对象。这些具有不同分辨率的图像集称为图像金字塔（因为当它们堆叠在一起时，最高分辨率的图像在底部，最低分辨率的图像在顶部，它看起来像一个金字塔）。

图像金字塔有两种： 1) 高斯金字塔和 2) 拉普拉斯金字塔。

高斯金字塔中的高层（低分辨率）是通过移除低层（高分辨率）图像中的连续行和列而形成的。然后，高层的每个像素由具有高斯权重的5个底层的像素的形成。这样一来，一张M×N的图像就变成了M/2×N/2的图像。所以面积减少到原来的四分之一。它被称为八度音阶。当我们在金字塔中向上移动时，相同的模式会继续（即分辨率降低）。同样在扩展的同时，每一层的面积都变成4倍。我们可以使用 cv.pyrDown() 和 cv.pyrUp() 函数找到高斯金字塔。

img = cv.imread('messi5.jpg')
lower_reso = cv.pyrDown(higher_reso)
higher_reso2 = cv.pyrUp(lower_reso)

 下面是图像金字塔中的 4 个级别。

请记住，higher_reso2 不等于 higher_reso，因为一旦降低分辨率，就会丢失信息。下图是从前一个案例中的最小图像创建的金字塔下 3 层。与原图对比：

这块是有原因的，经历了下采样在上采样的话会导致部分信息丢失，导致图像变模糊。

这是我写的代码段，根据图像可以看出分辨率是变化了，pyrDown是下采样 ，Up则是上采样。

import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('lisa.jpeg')
img = cv.cvtColor(img, cv.COLOR_BGR2RGB)
lower_reso = cv.pyrDown(img)
up_reso = cv.pyrUp(img)
imgs = [img, lower_reso, up_reso]
tittle = ['img','lower-reso','up-reso']
for i in range(3):
    u = i+1
    plt.subplot(1,3,u)
    plt.imshow(imgs[i])
    plt.title(tittle[i])
plt.show()

拉普拉斯金字塔是由高斯金字塔形成的。没有专门的功能。拉普拉斯金字塔图像只是边缘图像。它的大部分元素都是零。它们用于图像压缩。拉普拉斯金字塔中的一个层是由高斯金字塔中的该层与高斯金字塔中其上层的扩展版本之间的差异形成的。 Laplacian level 的三个级别如下所示（调整对比度以增强内容）：

使用金字塔的图像混合

金字塔的一个应用是图像混合。例如，在图像拼接中，您需要将两个图像堆叠在一起，但由于图像之间的不连续性，它可能看起来不太好。在这种情况下，使用 Pyramids 进行图像混合可以让您无缝混合，而不会在图像中留下太多数据。一个典型的例子是两种水果的混合，橙子和苹果。现在查看结果本身以了解我在说什么：

请查看附加资源中的第一个参考资料，它包含有关图像混合、拉普拉斯金字塔等的完整图表详细信息。只需按如下方式完成：

1. 加载苹果和橙子两张图片
2. 查找苹果和橙子的高斯金字塔（在这个特定示例中，级别数为 6）
3. 从高斯金字塔，找到他们的拉普拉斯金字塔
4. 现在在拉普拉斯金字塔的每一层加入左半边苹果和右半边橙子
5. 最后从这个联合图像金字塔中重建原始图像。

下面是完整的代码。 （为简单起见，每个步骤都是单独完成的，可能会占用更多内存。如果需要，可以对其进行优化）。

import cv2 as cv
import numpy as np,sys
A = cv.imread('apple.jpg')
B = cv.imread('orange.jpg')
# generate Gaussian pyramid for A
G = A.copy()
gpA = [G]
for i in range(6):
    G = cv.pyrDown(G)
    gpA.append(G)
# generate Gaussian pyramid for B
G = B.copy()
gpB = [G]
for i in range(6):
    G = cv.pyrDown(G)
    gpB.append(G)
# generate Laplacian Pyramid for A
lpA = [gpA[5]]
for i in range(5,0,-1):
    GE = cv.pyrUp(gpA[i])
    L = cv.subtract(gpA[i-1],GE)
    lpA.append(L)
# generate Laplacian Pyramid for B
lpB = [gpB[5]]
for i in range(5,0,-1):
    GE = cv.pyrUp(gpB[i])
    L = cv.subtract(gpB[i-1],GE)
    lpB.append(L)
# Now add left and right halves of images in each level
LS = []
for la,lb in zip(lpA,lpB):
    rows,cols,dpt = la.shape
    ls = np.hstack((la[:,0:cols/2], lb[:,cols/2:]))
    LS.append(ls)
# now reconstruct
ls_ = LS[0]
for i in range(1,6):
    ls_ = cv.pyrUp(ls_)
    ls_ = cv.add(ls_, LS[i])
# image with direct connecting each half
real = np.hstack((A[:,:cols/2],B[:,cols/2:]))
cv.imwrite('Pyramid_blending2.jpg',ls_)
cv.imwrite('Direct_blending.jpg',real)