34、卷积神经网络与文本深度学习：原理、架构与应用

卷积神经网络与文本深度学习：原理、架构与应用

1. 卷积神经网络架构设计

1.1 部分连接与ReLU

在ReLU连接中，存在全连接和部分连接的概念。部分连接指当前层的每个节点并非与下一层的所有节点相连；而全连接则是每个节点与下一层的所有节点都连接，像MLP、RNN和RBM等神经网络采用的就是全连接方式。在推导权重更新规则时，通常将ReLU视为线性函数。

1.2 池化 + ReLU架构

1.2.1 简单版本

最简单的CNN版本由池化层和ReLU组成。其中，池化层负责特征提取，带有ReLU的感知机用于分类。在这个架构里，假设输入层和输出层之间是部分连接。池化层会在输入向量上滑动窗口并选取最大值，经过池化层映射后的向量再由ReLU进行分类，部分连接可看作是部分连接值为零的全连接。

1.2.2 单池化层与多ReLU层版本

该版本由单个池化层和多个ReLU层构成，目的是解决输入值和最终输出值之间的非线性问题。池化层通过从每个窗口中选取代表性值来降低维度，第一个ReLU根据池化层映射的值计算输出，当前ReLU的输出作为下一个ReLU的输入，最终结果在最后一个ReLU中计算得出。

1.2.3 多池化层与多ReLU层版本

此版本将单个池化层扩展为多个池化层。输入向量经过一系列池化层映射为维度降低的向量，再通过一系列ReLU计算得到最终输出向量。后续还会考虑多池化层和多ReLU层的并行连接方式。

1.3 卷积 + ReLU架构

1.3.1 单卷积层与单ReLU层版本

输入向量通过卷积层映射为另