一维信号双边滤波器_CNN是如何记住灰度和物体大小（以一维信号为例）

这篇文章通用性不强，没有解释cnn的通用性，请辩证的阅读本文

长久以来，卷积神经网络在语音图像信号的处理中取得了巨大的作用。大多数使用过卷积神经网络的人都知道，卷积神经网络能很好的建模很多物体，一些无法用常用分布描述的物体经过cnn后能够被很好的分类或者分割开来，现在我们以一维信号为例，探索卷积和非线性是如何把不同灰度和尺寸的物体分离开来。

以下信号包括一个长度为15和一个长度为5的有效信号，

现在我们设计一个由卷积和非线性构成的滤波器把这两个信号分离开来

事实上到倒数第二步的时候这就是一个分类网络了，整个网络是一个分割网络，两个扩散卷积之间实际上构成了encoder，decoder结构。

其中，边缘提取和两个扩散卷积的卷积核如下所示

使用的三个卷积核，由上至下分别是边缘提取和两个扩散卷积

这样，CNN就很好的分离出了长度为5的信号。原信号与分离信号做减法（shortcut connection？）就不再有长度为5的信号了，事实上，cnn总是优先提取长度更短的信号。

另外这里面最重要的一点，卷积能让一个信号往周围扩散（因为卷积核有大小），并在扩散的过程中控制其大小 （结合非线性函数和bias）。而当两个响应扩散到一起时，便能够产生一个更大响应（只有一个卷积模板里面出现两个以上的极大响应，才有可能聚合成更大的响应），这时选择合适的阈值，就能提取这个更大响应。如果一个信号由三个分离的极大响应描述（比如说人脸的边缘响应同时也包含了五官的极大响应），我们也完全可以使得最先聚合的极大信号不通过阈值（阈值这个参数是加权和非线性学习出来的），这样三个极大响应会变成两个极大响应，然后会随着扩散的进行变成一个极大响应，这一个极大响应也就描述了这个信号，而这个扩散的过程也能很好被记忆住，这个扩散中产生的各种极大响应描述了整体与部分之间的关系，并且这个方法是鲁棒的，允许信号极大响应之间的间隔有一个合理范围。又因为卷积是可逆的，所以任何一个被逆转回去，从原信号里减去，减少干扰，这个机制非常类似于跨层连接，另外，相减的操作也可以用1x1卷积或者常数卷积实现，因为它们可以让原信号通过。

灰度更好分离，灰度代表着信号强度，直接使用阈值函数就能分离出来，如果两个信号只有强度区别，用阈值函数作用其上，就能直接把两个信号分离开。

为了更好的说明这个问题，设计一个一维信号的分类网络

这里用一组滤波器模拟了卷积神经网络的一个通道，实际上cnn里面有很多通道，分别用来记住不同的灰度分布和形状分布。并且这里滤波器都是手工设计的，但是cnn里面都是学出来的，另外，用不用阈值函数的阈值本身也是可以学出来的，因为cnn里的卷积都会加权相加，只要学一个很大的权值，就能让阈值函数产生不同的响应，也是可以学习的，这里的信号分布也是非常精确的。

但是，我们知道，cnn能够处理的信号分布也是有界的，两个能被完美区别的物体不是纹理就是形状，二者之一一定区分度非常大。

另外，设计这个滤波器组的作用，也是为了论证卷积的重要作用只有两个，边缘响应极大值化，聚合远距离的两个或者多个极大响应为更大响应（使用和物体形状相近分布的卷积，只有和滤波器形状最相近的pattern才有可能在滤波器中心产生极大响应），这些在cnn可视化里面都有例证。另外，响应扩散也可以用小卷积核慢慢扩散（这个还会继续讨论）。。。

这里再详细解释一样，以人脸为例（假设已经完全得到了边缘响应）。卷积能把来自不同方向的边缘响应聚合起来，如果每层特征值都有界，那如果有人脸的边缘响应，卷积核只要和人脸的边缘分布一模一样，这样非零的部分全部对齐，这个时候卷积中心的响应是非常大的，然后过一个阈值函数，就只剩这样一个响应了（但这样做必定泛化性能不好，模板偏离几个像素可能响应就有很大的变化，所以一般使用小卷积核叠加）

未完待续。。。

我在另一篇文章里面试图说明cnn的本质是泛函拟合，事实上它只是其中一种泛函拟合。这篇文章我想说的是cnn的本质是可以适应数据的级联滤波器。