【转】卷积的进一步理解（二维）

摘转自 [CV] 通俗理解『卷积』——从傅里叶变换到滤波器

二维空间

虽然我们一直在强调『时间信号』，但不知大家注意到没有，其实这里的时间t，完全可以换成其他符号比如x，从而所谓的时间信号f(t)，可以写成f(x)，进而，图像可以看成一个离散的二维函数f(x,y)，x 和 y 决定了图像的像素点，f是像素点在该处的取值。更形象地理解，图像就仿佛是一个『水池』，像素点就是『水分子』，像素点的取值大小，从视觉上看代表图像亮度的强弱，而类比到水池里，就是不同位置水分子的运动幅度，在水池里泛起涟漪。

进而，我们很自然地想到，一维函数的『傅里叶变换』，能否扩展到二维呢？

答案是肯定的。不过二维空间的傅里叶变换公式我们就不贴出来了，大家有兴趣可以详细阅读参考资料[3]。一维函数f(x)的频谱函数F(w)，是一维信号的不同频率分量，而二维函数f(x,y)的频谱函数，是一个二维函数F(w,v)，也反应了二维函数的频率特性(不过理解起来不那么直观，这里略过，有兴趣的同学请阅读参考资料[2])。这里我们直接结合前面说的『滤波器』来理解卷积过程。

卷积核本质上是一个二维函数，有对应的频谱函数，因而可以看成某种『滤波器』

下面是几种常见卷积核的频谱图像(摘自参考资料[4])

这是一个低通滤波器，频率接近原点附近的幅值很大(频率低的通过)，越往两边越小(频率高的过滤)。下面这个高通滤波器恰恰相反

滤波器的概念有了，那么问题来了，我们该如何理解『图像卷积』和『滤波』的关系呢？

回顾下我们上节的发现——『波形里的「棱角」其实是一种突变信号，它里面包含了很多高频分量』。我们沿用上面『水池』的类比，图像像素值变化陡峭的地方，反映在图像上，就是那块区域明暗变化明显，而类比到『水池』里，就是水波在该区域快速振动，『棱角』分明。所以

当我们将图像跟『高通滤波器』做卷积时， 明暗变化会被保留，而缓和的变化会被过滤

反映到图像上，就是『锐化』效果，即图像的边缘被加强，大色块的背景被过滤。同理，跟低通滤波器做卷积，效果相反。我们看看直观的效果(摘自参考资料[3])

当我们把图像跟多种卷积核作用时，就能得到不同频段的信号，这也就是卷积神经网络中，『卷积层』的本质作用。

至此，我们完美阐释了开篇提到的结论

图像卷积的本质，是提取图像不同『频段』的特征

参考资料

1. <信号与系统> 郑君里 等
2. <数字信号处理> 奥本海默
3. http://www.robots.ox.ac.uk/~az/lectures/ia/lect2.pdf
4. 10句话读懂图像频域滤波--不能不知道的信号与系统基本理论 - iracer的博客 - CSDN博客