谈谈卷积神经网络和循环神经网络

看起来毫不相关的两种网络，其有哪些近似之处呢？
这篇文章将用简易文字总结。

卷积神经网络-CNN

首先，卷积和神经网络是两个独立模块：

• 卷积是为了提取特征，卷积核为待求参数，客观世界表现为对图像数据提取特征的方式；
• 神经网络是工具，通过输入指定维度参量**（这个输入就是源图像经过预处理、反复的卷积-池化降维、激活、全连接等模块所得）**，通过反复迭代，对权重参数运算，使得整个网络在应用于后验数据时，能够很好的匹配上其客观现实中所对应的人为指定标签。

在提取特征时，通常需要一次性的提取多个特征，直观变现为同时存在多层卷积核。

卷积神经网络的一大优点在于权值共享，这样就在待求参数的维度得以释放，不必担心参数爆炸的问题：即不需要图像每个位置特定的特征提取，表现为每个位置一个卷积核。

卷积核共享，就是在一个图像的各个位置，提取特征的方式是一样的。由于单帧图像成像机理和数值范围等在同一个量纲中，因此选取同一种特征提取方式，在后阶段的运算中，其参数的权值也是均衡的。

划重点：这里主要强调了卷积神经网络的卷积核共享，这是一种空间共享特征提取方式。

循环神经网络-RNN

循环神经网络的工作模式如上图，其主要应用于时间相关的序列参量的运算，具体的网络原理可参照这篇文章理解：
一文搞懂RNN（循环神经网络）基础篇

注意上图，每层的输入为不同时刻所提取的特征，每个时刻的网络输入不仅包含当前提取特征，并且包含前一帧的表现特征，计算模块看就是在网络内部就是隐含层输出向量。

所以这个网络在解决和时间相关的问题时，有着很突出的意义。

循环神经网络也应用了权值共享的策略，也不必担心参数爆炸问题。

为什么会选择权值共享呢？

由于针对时序问题，每帧所输入特征也为同一方式提取，其也具备相同物理含义和相同量纲范围。

划重点：循环神经网络的优势之一在于时间维度的权值共享。

思考

其实至此，已经比较出了这两种网络的近似之处：权值共享。

• 虽然从客观世界看，这两种网络的输入是风牛马不相及，一个是色彩斑斓的图像，一个是难以表述的时间维度的序列数据；
• 但是结合网络模式，其都存在着在各自维度的权值共享方案，也都符合其数据机理。

时空，其在某个维度看，也是一种和谐统一。