图像卷积与图像相关

最新推荐文章于 2023-04-24 23:07:38 发布

AI算法网奇

最新推荐文章于 2023-04-24 23:07:38 发布

阅读量3.2k

点赞数

分类专栏：视觉相关拾起高数

视觉相关同时被 2 个专栏收录

229 篇文章 25 订阅

订阅专栏

拾起高数

50 篇文章 6 订阅

订阅专栏

离散卷积的计算过程是模板翻转，然后在原图像上滑动模板，把对应位置上的元素相乘后加起来，得到最终的结果。

如果不考虑翻转，这个滑动-相乘-叠加的过程就是相关操作。事实上我也一直用相关来理解卷积。在时域内可以从两个角度来理解这样做的含义。

一种是滤波，比如最简单的高斯模板，就是把模板内像素乘以不同的权值然后加起来作为模板的中心像素值，如果模板取值全为1，就是滑动平均；如果模板取值为高斯，就是加权滑动平均，权重是中间高，四周低，在频率上理解就是低通滤波器；如果模板取值为一些边缘检测的模板，结果就是模板左边的像素减右边的像素，或者右边的减左边的，得到的就是图像梯度，方向不同代表不同方向的边缘；

另一种理解是投影，因为当前模板内部图像和模板的相乘累加操作就是图像局部patch和模板的内积操作，如果把patch和模板拉直，拉直的向量看成是向量空间中的向量，那么这个过程就是patch向模板方向上的投影，一幅图像和一个模板卷积，得到的结果就是图像各个patch在这个方向上的responsemap或者featuremap；如果这样的模板有一组，我们可以把这一组看成一组基，得到的一组featuremap就是原图像在这组基上的投影。常见的如用一组Garbor滤波器提取图像的特征，以及卷积神经网络中的第一层，图像在各个卷积核上的投影。

从信号与系统的角度讲卷积是线性时不变系统才有的运算
具体推导是先将输入信号按 $\delta$ 基函数展开，然后利用线性时不变特性得到输出信号为输入信号与系统单位冲激响应的卷积。
$x(t) = \int_{}x(\tau)\delta(t-\tau)d\tau$
$y(t) &=& H[x(t)] \\&=& H[ \int_{}x(\tau)\delta(t-\tau)d\tau]\\ &=&\int_{}H[x(\tau)\delta(t-\tau)]d\tau \\&=&\int_{}x(\tau)H[\delta(t-\tau)]d\tau \\&=&\int_{}x(\tau)h(t-\tau)d\tau\\&=&\int_{}x(t-\tau)h(\tau)d\tau$
两个信号的卷积是把一个信号当成系统冲激响应来推演。离散和二维情况都可以类似推导。这个解释物理上不是很直观，但从数学角度看是比较严格且容易接受的。

此外，顺便再对线性时不变性以及因果性做一些说明。可以看到所谓线性系统是指输出是输入信号及其延时的线性叠加，可以把 $h(\tau)d\tau$ 看成 $x(t-\tau)$ 对的贡献因子。所以如果出现有 $x^2(t-\tau)$ 等对输出贡献，则必然不是线性系统了；而如果贡献因子（加权因子）与有关则必然不是时不变系统。显然描述卷积的式子中不存在上述问题。
所谓因果系统是指时刻输出仅与时刻及其以前时刻的输入有关，因此上面卷积的式子中 $t-\tau > t$ 也即 $\tau < 0$ 时 $x(t-\tau)$ 的贡献因子必须为0，也即，因果系统必须保证 $h(\tau)=0, \tau<0$

作者：知乎用户
链接：https://www.zhihu.com/question/27251882/answer/35942373
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

自己的备注，待完善

卷积：

图像与模板的卷积

卷积的互换是一样的

图像相关函数：

图像相关：

自己与自己相关：很大

如果不相关，可以0或者负数

两幅图的卷积：

假设第一幅图像为f(x,y),其大小为(ma,mb)，第二幅图像为g(x,y)，其大小为(na,nb)，则它们的卷积f(x,y)*g(x,y)表示一幅大小为(ma+mb-1,na+nb-1)的图像。这幅图像在空间（x,y）点处像素的灰度值，由f和g贡献而成。也就是说f取一个点f(a,b)，g也会取一个对应的点g(x-a,y-b)与其相乘，最后叠加形成新的点。此处，g也可以看成是f作用的强度。