神经网络中的卷积

神经网络中的卷积

---

1.卷积的物理含义

卷积其实就是为冲击函数诞生的。“冲击函数”是狄拉克为了解决一些瞬间作用的物理现象而提出的符号。
卷积是“信号与系统”中论述系统对输入信号的响应而提出的。

卷积在信号处理机制中用途广泛，其中函数f可看做信号的发生，函数g可看做对信号响应，两者的卷积可看作在t时间过去产生的信号经过处理后的叠加；

信号处理中如何出现卷积的？假设B是一个系统，其t时刻的输入为x(t)，输出为y(t)，系统的响应函数为h(t)，按理说，输出与输入的关系应该为

$$Y(t)=h(t)x(t)$$

然而，实际的情况是，**系统的输出不仅与系统在t时刻的响应有关，还与它在t时刻之前的响应有关，系统有个衰减过程。
所以 t1(t1 < t)时刻的输入对输出的影响通常可以表示为$x(t)h(t-t1)$**，这个过程可能是离散的，也可能是连续的，所以t时刻的输出应该为t时刻之前系统响应函数在各个时刻响应的叠加，这就是卷积，用数学公式表示就是

$$y(s)=∫x(t)h(s-t)dt$$

离散情况下就是级数了。

幽默诙谐的卷积物理含义：
七品县令打板子：

t个大板子造成的痛苦程度=Σ(第τ个大板子引起的痛苦*衰减系数)
[衰减系数是（t-τ）的函数，仔细品味]
数学表达为：$y(t)=∫T(τ)H(t-τ)$

也可以这样理解：T(τ)即第τ个板子，H(t-τ)就是第τ个板子引起的痛苦到t时刻的痛苦程度，所有板子加起来就是∫T(τ)H(t-τ)。

2.卷积的数学表示及计算

卷积是一种积分运算，它可以用来描述线性时不变系统的输入和输出的关系：即输出可以通过输入和一个表征系统特性的函数（冲激响应函数）进行卷积运算得到。（以下用$符号表示从负无穷大到正无穷大的积分）

1）一维卷积：

y(t)=g(k)*x(k)=$g(k)x(t-k)

先把函数x(k)相对于原点反折，然后向右移动距离t，然后两个函数相乘再积分，就得到了在t处的输出。对每个t值重复上述过程，就得到了输出曲线。

2）二维卷积：

h(x,y)=f(u,v)*g(u,v)=$$f(u,v)g(x-u,y-v)

先将g(u,v)绕其原点旋转180度，然后平移其原点，u轴上像上平移x， v轴上像上平移y。然后两个函数相乘积分，得到一个点处的输出。

卷积运算：是向量的内积,即向量的点积运算。如此则,可以看作是一串内积运算.既然是一串内积运算，则我们可以试图用矩阵表示上述过程。
[ 2 3 1 0 0 0]
[ 0 2 3 1 0 0]==A
[ 0 0 2 3 1 0]
[ 0 0 0 2 3 1]
[0 0 2 5 0 0]’ == x
b= Ax=[ 2 11 19 10]’

3.卷积的具体应用

• 图像处理的中应
• 卷积在数据处理中用来平滑，卷积有平滑效应和展宽效应
• 卷积关系最重要的一种情况，就是在信号与线性系统或数字信号处理中的卷积定理。利用该定理，可以将时间域或空间域中的卷积运算等价为频率域的相乘运算，从而利用FFT等快速算法，实现有效的计算，节省运算代价

---

[1]卷积的物理含义参考:曼陀罗彼岸花的博客： 《卷积的本质及物理意义（全面理解卷积）》
[2]卷积：向量的内积
[3]卷积物理含义之信号处理
[4] 卷积神经网络,继续深入学习!!!