由FIR滤波器到卷积神经网络的卷积核尺寸的类比

众所周知，卷积就是滤波，于是从滤波的角度考量FIR滤波器中抽头数（同比与一维卷积核的尺寸）对卷积效果的影响，得到以下结论和推论：

• FIR滤波器的抽头数并不是越大越好。随着抽头数增加，滤波效果是先快速下降，然后整体趋势呈振荡爬升，并在一个稳定值附近震荡。
• 将其类比到卷积神经网络里，可以类比推出卷积核的大小并不是越大越好，也不是越小越好，而是存在一个最优值。

1. FIR滤波器

滤波器就是对一个信号做处理，允许我们想要的频谱分量通过，而衰减掉不想要的频率分量。 数字滤波器处理的是离散信号。

FIR滤波器最简单的数字滤波器，对于给定一个有限长度的输入序列，FIR滤波器的输出总会是一个时域有限长度的序列。这就是FIR名称的由来。
FIR在数学上的操作更像是一个累加求的过程。例如一种最基本的平均滤波器，就是一个累加求平均的过程，当然不是全部长度累加求均值（这样只会得到一个平均数，而不是有限长度的序列），而是当前时刻序列值$x(n)$和过去m个序列值的平均值作为当前时刻的滤波结果y(n):
$$y(n)=\frac{1}{N}\sum _{k=0}^{N-1}x(n-k)\text{\hspace{1em}(1.1)}$$

• 为什么这种局部区域求均值就可以达到低通滤波的效果呢？例如，如果将序列突然增大的部分看作是信号存在高频分量的话，那么输出的平滑序列就可以理解为高频分量被滤除这个信号序列。那么这个不断局部平均的过程就是一个低通滤波器，达到了将序列中快速变化的部分变得平缓，也就是说实现了低通滤波。这个就是最简单的FIR滤波器。

• 常规一点的FIR滤波器的形式和（1.1）一样，不同的是不是乘以$\frac{1}{m}$而是可以取不同值的系数$h(k)$, 即乘上不同的冲击函数。
  y ( n ) = ∑ k = 0