OpenCV中的图像处理3.11(10) OpenCV中的图像变换


翻译及二次校对:cvtutorials.com

编辑者:廿瓶鲸(和鲸社区Siby团队成员)

3.11 OpenCV中的图像变换

3.11.1 傅里叶变换

目标

在本节中,我们将学习:

  • 使用OpenCV找到图像的傅里叶变换
  • 利用Numpy中的FFT函数
  • 傅立叶变换的一些应用
  • 我们将看到以下函数:cv.dft(), cv.idft()等。

理论

傅里叶变换被用来分析各种过滤器的频率特性。对于图像,二维离散傅里叶变换(DFT)被用来寻找频域。一种叫做快速傅里叶变换(FFT)的快速算法被用来计算DFT。关于这些的细节可以在任何图像处理或信号处理教科书中找到。请看其他资源部分。

对于一个正弦信号,x(t)=Asin(2πft),我们可以说f是信号的频率,如果取其频域,我们可以在f处看到一个尖峰。如果信号被采样形成离散信号,我们得到相同的频域,但在[-π,π]或[0,2π]范围内是周期性的(或者对于N点DFT来说是[0,N])。你可以把图像看作是一个在两个方向上被采样的信号。因此,在X和Y两个方向上进行傅里叶变换,就可以得到图像的频率表示。

更直观地说,对于正弦信号,如果振幅在短时间内变化得很快,你可以说它是一个高频信号。如果它变化缓慢,它就是一个低频信号。你可以把同样的想法延伸到图像上。在图像中,哪里的振幅变化剧烈?在边缘点,或噪音。所以我们可以说,边缘和噪音是图像中的高频内容。如果振幅没有太大的变化,那就是低频成分。(一些链接被添加到附加资源中,它用例子直观地解释了频率变换)。

现在我们来看看如何找到傅里叶变换。

Numpy中的傅里叶变换

首先我们将看到如何使用Numpy找到傅立叶变换。np.fft.ft2()为我们提供了频率变换,它将是一个复数。它的第一个参数是输入图像,它是灰度的。第二个参数是可选的,决定输出数组的大小。如果它大于输入图像的大小,在计算FFT之前,输入图像将被填充零。如果它小于输入图像,输入图像将被裁剪。如果没有传递参数,输出数组的大小将与输入相同。

现在一旦你得到结果,零频率分量(直流分量)将在左上角。如果你想把它带到中心,你需要把结果在两个方向上移位N/2。这可以通过函数np.fft.fftshift()简单地完成。(它更容易分析)。一旦你找到了频率变换,你就可以找到幅值谱了。

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
img = cv.imread('messi5.jpg',0)
f = np.fft.fft2(img)
fshift = np.fft.fftshift(f)
magnitude_spectrum = 20*np.log(np.abs(fshift))
plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(magnitude_spectrum, cmap = 'gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

结果如下:

Image Name

看,你可以看到中心的白色区域更多,显示出低频内容更多。

所以你找到了频率变换 现在你可以在频域做一些操作,比如高通滤波和重建图像,即找到反DFT。为此,你只需用一个大小为60x60的矩形窗口进行遮蔽,以去除低频。然后用np.fft.ifftshift()进行反移位,使直流成分再次出现在左上角。然后使用np.ifft2()函数找到反FFT。其结果也是一个复数。你可以取其绝对值。

rows, cols = img.shape
crow,ccol = rows//2 , cols//2
fshift[crow-30:crow+31, ccol-30:ccol+31] = 0
f_ishift = np.fft.ifftshift(fshift)
img_back = np.fft.ifft2(f_ishift)
img_back = np.real(img_back)
plt.subplot(131),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(132),plt.imshow(img_back, cmap = 'gray')
plt.title('Image after HPF'), plt.xticks([]), plt.yticks([])
plt.subplot(133),plt.imshow(img_back)
plt.title('Result in JET'), plt.xticks([]), plt.yticks([])
plt.show()

结果如下:

Image Name

结果显示高通滤波是一种边缘检测操作。这就是我们在图像梯度一章中看到的情况。这也表明大部分的图像数据存在于频谱的低频区域。总之我们已经看到了如何在Numpy中找到DFT、IDFT等。现在让我们看看如何在OpenCV中实现。

如果你仔细观察结果,特别是最后一张JET颜色的图像,你可以看到一些伪影(其中一个例子我已经用红色箭头标出)。它显示了一些类似波纹的结构,这被称为振铃效应。这是由我们用于遮蔽的矩形窗口造成的。这个掩膜被转换为sinc形状,导致了这个问题。所以矩形窗口不能用于滤波。更好的选择是高斯窗口。

OpenCV中的傅立叶变换

OpenCV为此提供了cv.dft()和cv.idft()函数。它返回的结果与前面的相同,但有两个通道。第一个通道将有结果的实部,第二个通道将有结果的虚部。输入的图像应该首先被转换为np.float32。我们将看到如何做到这一点。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('messi5.jpg',0)
dft = cv.dft(np.float32(img),flags = cv.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)
magnitude_spectrum = 20*np.log(cv.magnitude(dft_shift[:,:,0],dft_shift[:,:,1]))
plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(magnitude_spectrum, cmap = 'gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

注意:你也可以使用cv.cartToPolar(),它可以一次性返回幅值和相位。

所以,现在我们要做反DFT。在上一节课中,我们创建了一个HPF,这次我们将看到如何去除图像中的高频内容,即我们对图像应用LPF。它实际上模糊了图像。为此,我们首先创建一个掩膜,在低频处用高值(1),即我们通过低频内容,而在高频区域用0。

rows, cols = img.shape
crow,ccol = rows/2 , cols/2
# create a mask first, center square is 1, remaining all zeros
mask = np.zeros((rows,cols,2),np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 1
# apply mask and inverse DFT
fshift = dft_shift*mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv.idft(f_ishift)
img_back = cv.magnitude(img_back[:,:,0],img_back[:,:,1])
plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(img_back, cmap = 'gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

结果如下:

Image Name

注意事项:像往常一样,OpenCV函数cv.dft()和cv.idft()比Numpy的对应函数要快。但Numpy函数更方便用户使用。关于性能问题的更多细节,请看下面的章节。

DFT的性能优化

DFT计算的性能对于某些数组大小来说是比较好的。当数组大小为2的幂时,它是最快的。对于那些大小为2、3、5的乘积的数组,处理起来也相当有效。因此,如果你担心你的代码的性能,你可以在寻找DFT之前将数组的大小修改为任何最佳大小(通过填充零)。对于OpenCV,你必须手动填充零。但是对于Numpy来说,你指定FFT计算的新大小,它就会自动为你填充零。

那么我们如何找到这个最佳尺寸呢?OpenCV为此提供了一个函数,cv.getOptimalDFTSize()。它同时适用于cv.dft()和np.fft.fft2()。让我们用IPython的神奇命令timeit来检查它们的性能。

In [16]: img = cv.imread('messi5.jpg',0)
In [17]: rows,cols = img.shape
In [18]: print("{} {}".format(rows,cols))
342 548
In [19]: nrows = cv.getOptimalDFTSize(rows)
In [20]: ncols = cv.getOptimalDFTSize(cols)
In [21]: print("{} {}".format(nrows,ncols))
360 576

看,大小(342,548)被修改为(360, 576)。现在让我们用零来填充它(对于OpenCV来说),并找到它们的DFT计算性能。你可以通过创建一个新的零数组并将数据复制到其中,或者使用cv.copyMakeBorder()来完成。

nimg = np.zeros((nrows,ncols))
nimg[:rows,:cols] = img

或者:

right = ncols - cols
bottom = nrows - rows
bordertype = cv.BORDER_CONSTANT #just to avoid line breakup in PDF file
nimg = cv.copyMakeBorder(img,0,bottom,0,right,bordertype, value = 0)

现在我们计算一下Numpy函数的DFT性能比较。

In [22]: %timeit fft1 = np.fft.fft2(img)
10 loops, best of 3: 40.9 ms per loop
In [23]: %timeit fft2 = np.fft.fft2(img,[nrows,ncols])
100 loops, best of 3: 10.4 ms per loop

它显示了4倍的速度提升。现在,我们将用OpenCV函数进行同样的尝试。

In [24]: %timeit dft1= cv.dft(np.float32(img),flags=cv.DFT_COMPLEX_OUTPUT)
100 loops, best of 3: 13.5 ms per loop
In [27]: %timeit dft2= cv.dft(np.float32(nimg),flags=cv.DFT_COMPLEX_OUTPUT)
100 loops, best of 3: 3.11 ms per loop

它还显示了4倍的速度。你还可以看到OpenCV函数比Numpy函数快3倍左右。这也可以用于反FFT的测试,而这也是留给你的一个练习。

为什么Laplacian是一个高通滤波器?

在一个论坛上也有一个类似的问题。问题是,为什么Laplacian是高通滤波器?为什么Sobel是高通滤波器?而给出的第一个答案是傅里叶变换。就拿拉普拉斯的傅里叶变换来说吧,它的FFT大小较高。对它进行分析。

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
# simple averaging filter without scaling parameter
mean_filter = np.ones((3,3))
# creating a gaussian filter
x = cv.getGaussianKernel(5,10)
gaussian = x*x.T
# different edge detecting filters
# scharr in x-direction
…mag_spectrum = [np.log(np.abs(z)+1) for z in fft_shift]
for i in range(6):
    plt.subplot(2,3,i+1),plt.imshow(mag_spectrum[i],cmap = 'gray')
    plt.title(filter_name[i]), plt.xticks([]), plt.yticks([])
plt.show()

结果:

Image Name

从图像中,你可以看到每个核阻挡了什么频率区域,以及它通过什么区域。根据这些信息,我们可以说为什么每个核是HPF或LPF。

其他资源

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王者与CV

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值