OpenCV系列之图像金字塔 | 二十

目标

在本章中,

  • 我们将学习图像金字塔

  • 我们将使用图像金字塔创建一个新的水果“Orapple”

  • 我们将看到以下功能:cv.pyrUp(),cv.pyrDown()

理论

通常,我们过去使用的是恒定大小的图像。但是在某些情况下,我们需要使用不同分辨率的(相同)图像。例如,当在图像中搜索某些东西(例如人脸)时,我们不确定对象将以多大的尺寸显示在图像中。在这种情况下,我们将需要创建一组具有不同分辨率的相同图像,并在所有图像中搜索对象。这些具有不同分辨率的图像集称为“图像金字塔”(因为当它们堆叠在底部时,最高分辨率的图像位于顶部,最低分辨率的图像位于顶部时,看起来像金字塔)。

有两种图像金字塔。1)高斯金字塔和2)拉普拉斯金字塔

高斯金字塔中的较高级别(低分辨率)是通过删除较低级别(较高分辨率)图像中的连续行和列而形成的。然后,较高级别的每个像素由基础级别的5个像素的贡献与高斯权重形成。通过这样做,M×N图像变成M/2 × N/2图像。因此面积减少到原始面积的四分之一。它称为Octave。当我们在金字塔中越靠上时(即分辨率下降),这种模式就会继续。同样,在扩展时,每个级别的面积变为4倍。我们可以使用cv.pyrDown()和cv.pyrUp()函数找到高斯金字塔。

img = cv.imread('messi5.jpg') 
lower_reso = cv.pyrDown(higher_reso)

以下是图像金字塔中的4个级别。

现在,您可以使用cv.pyrUp()函数查看图像金字塔。

higher_reso2 = cv.pyrUp(lower_reso) 

记住,higher_reso2不等于higher_reso,因为一旦降低了分辨率,就会丢失信息。下面的图像是3层的金字塔从最小的图像在前面的情况下创建。与原图对比:

拉普拉斯金字塔由高斯金字塔形成。没有专用功能。拉普拉斯金字塔图像仅像边缘图像。它的大多数元素为零。它们用于图像压缩。拉普拉斯金字塔的层由高斯金字塔的层与高斯金字塔的高层的扩展版本之间的差形成。拉普拉斯等级的三个等级如下所示(调整对比度以增强内容):

使用金字塔进行图像融合

金字塔的一种应用是图像融合。例如,在图像拼接中,您需要将两个图像堆叠在一起,但是由于图像之间的不连续性,可能看起来不太好。在这种情况下,使用金字塔混合图像可以无缝混合,而不会在图像中保留大量数据。一个经典的例子是将两种水果,橙和苹果混合在一起。现在查看结果本身,以了解我在说什么:

请查看附加资源中的第一个参考,其中有图像混合,拉普拉斯金字塔等的完整图解详细信息。只需完成以下步骤即可:

1.加载苹果和橙子的两个图像

2.查找苹果和橙子的高斯金字塔(在此示例中, 级别数为6)

3.在高斯金字塔中,找到其拉普拉斯金字塔

4.然后在每个拉普拉斯金字塔级别中加入苹果的左半部分和橙子的右半部分

5.最后从此联合图像金字塔中重建原始图像。

下面是完整的代码。(为简单起见,每个步骤都是单独进行的,这可能会占用更多的内存。如果需要,可以对其进行优化)。

import cv2 as cv
import numpy as np,sys
A = cv.imread('apple.jpg')
B = cv.imread('orange.jpg')
# 生成A的高斯金字塔
G = A.copy()
gpA = [G]
for i in xrange(6):
    G = cv.pyrDown(G)
    gpA.append(G)
# 生成B的高斯金字塔
G = B.copy()
gpB = [G]
for i in xrange(6):
    G = cv.pyrDown(G)
    gpB.append(G)
# 生成A的拉普拉斯金字塔
lpA = [gpA[5]]
for i in xrange(5,0,-1):
    GE = cv.pyrUp(gpA[i])
    L = cv.subtract(gpA[i-1],GE)
    lpA.append(L)
# 生成B的拉普拉斯金字塔
lpB = [gpB[5]]
for i in xrange(5,0,-1):
    GE = cv.pyrUp(gpB[i])
    L = cv.subtract(gpB[i-1],GE)
    lpB.append(L)
# 现在在每个级别中添加左右两半图像 
LS = []
for la,lb in zip(lpA,lpB):
    rows,cols,dpt = la.shape
    ls = np.hstack((la[:,0:cols/2], lb[:,cols/2:]))
    LS.append(ls)
# 现在重建
ls_ = LS[0]
for i in xrange(1,6):
    ls_ = cv.pyrUp(ls_)
    ls_ = cv.add(ls_, LS[i])
# 图像与直接连接的每一半
real = np.hstack((A[:,:cols/2],B[:,cols/2:]))
cv.imwrite('Pyramid_blending2.jpg',ls_)
cv.imwrite('Direct_blending.jpg',real)
## 

附加资源

1.Image Blending:http://pages.cs.wisc.edu/~csverma/CS766_09/ImageMosaic/imagemosaic.html

☆☆☆为方便大家查阅,小编已将OpenCV-Python专栏文章统一整理到公众号底部菜单栏,同步更新中,关注公众号,点击左下方“文章”,如图:

或点击下方“阅读原文”,进入OpenCV-Python专栏,即可查看系列文章。

     不断更新资源

     获取更多精彩

长按二维码扫码关注

图像的金字塔: import cv2 as cv import numpy as np #降采样:将源图片尺寸缩小一倍,称为源图片尺寸的一半 def pyr_down_demo(image): dst = cv.pyrDown(image) cv.imshow("pyr_down_demo",dst) print(dst.shape) #高斯金字塔 def pyramid_demo(image): temp = image.copy() level = 3 pyramid_image = [] for i in range(3): dst = cv.pyrDown(temp) cv.imshow("pyramid_image"+str(i),dst) pyramid_image.append(dst) temp = dst.copy() return pyramid_image #拉普拉斯金字塔 def lapalian_demo(image): pyramid_images = pyramid_demo(image) level = len(pyramid_images) for i in range(level-1,-1,-1): if(i-1)<0: expand =cv.pyrUp(pyramid_images[i],dstsize= image.shape[:2]) lpls =cv.subtract(image,expand) cv.imshow("lapalian_down_"+str(i),lpls) else: expand = cv.pyrUp(pyramid_images[i],dstsize=pyramid_images[i-1].shape[:2]) lps = cv.subtract(pyramid_images[i-1],expand) cv.imshow("lapalian_down_"+str(i),lps) src =cv.imread("E:/opencv/picture/lena.jpg") pyr_down_demo(src) dst =cv.resize(src,(256,256)) cv.imshow("inital_window",src) cv.imshow("Resize_demo",dst) lapalian_demo(src) pyramid_demo(src) #print(src.shape) cv.waitKey(0) cv.destroyAllWindows() 分析: 图像金字塔是图像中多尺度表达的一种,最主要用于图像的分割,是一种以多分辨率来解释图像的有效但概念简单的结构,简单来说,图像金字塔就是用来进行图像缩放的。 进行图像缩放可以用图像金字塔,也可以使用resize函数进行缩放,后者效果更好。这里只是对图像金字塔做一些简单了解。 两种类型的金字塔: 1, 高斯金字塔:用于下采样。高斯金字塔是最基本的图像塔。原理:首先将原图像作为最底层图像G0(高斯金字塔的第0层),利用高斯核(5*5)对其进行卷积,然后对卷积后的图像进行下采样(去除偶数行和列)得到上一层图像G1,将此图像作为输入,重复卷积和下采样操作得到更上一层图像,反复迭代多次,形成一个金字塔形的图像数据结构,即高斯金字塔。 2, 拉普拉斯金字塔:用于重建图像,也就是预测残差,对图像进行最大程度的还原。比如一幅小图像重建为一幅大图,原理:用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像,得到一系列的差值图像即为LP分解图像。 两种类型的采用: 1) 上采样:就是图片放大(所谓上就是变大),使用PryUp函数。 步骤:先将图像在每个方向放大为原来的两倍,新增的行和列用0填充,再使用先前同样的内核与放大后的图像卷积,获得新增像素的近似值。 2)下采样:就是图片缩小(所谓下嘛,就是变小),使用PryDown函数。下采样将步骤:先对图像进行高斯内核卷积 ,再将所有偶数行和列去除。 总之,上、下采样都存在一个严重的问题,那就是图像变模糊了,因为缩放的过程中发生了信息丢失的问题。要解决这个问题,就得用拉普拉斯金字塔 对于源码分析: 1.高斯金字塔 def pyramid_demo(image): level = 3 pyramid =[] for i in range(level): dst = cv.pyrDown(image) cv.imshow("pyramid_demo"+str(i),dst) pyramid.append(dst) image = dst return pyramid 高斯金字塔实质上就是由大变小,对源图像进行PyrDown(即先高斯模糊,后降采样)得到dst1,然后将dst1作为输入图像再进行PyrDown(即先高斯模糊,后降采样)得到dst2,这个过程循环n次,就会得到n曾金字塔了。源码中n=3. 2.拉普拉斯金字塔 def lapalace_demo(image): pyramid = pyramid_demo(image) levels = len(pyramid) #range(2,-1,-1):计数从2开始,到-1结束(但不包含-1),步长为-1.得到2,1,0 for i in range(levels-1,-1,-1): if i=1时,使用pyrUP指令,输入图像为pyramid[i],输出图像的大小为pyramid[i-1](因为高斯金字塔的pyramid链表前一个元素是后一个元素的两倍),得到结果expand,再用图像相减命令cv.subtract将expand与pyramid[i-1]做差,即可得到残差图像了。 当I<1,即i=0时,此时pyramid[i]是链表中元素最大的了,大小是image图像的一半。我们用pyrUP指令,输入图像为pyramid[i],输出图像的大小为image的尺寸大小,得到残差图像。 最后将各个残差图像显示出来。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值