python实现胶囊网络_胶囊网络（Capsule Network）在文本分类中的探索

作者丨杨敏

单位丨中国科学院深圳先进技术研究院助理研究员

研究方向丨自然语言处理

文本建模方法大致可以分为两类：(1) 忽略词序、对文本进行浅层语义建模 (代表模型包括 LDA，EarthMover’s distance等); (2) 考虑词序、对文本进行深层语义建模 (深度学习算法，代表模型包括 LSTM，CNN 等)。

在深度学习模型中，空间模式(spatial patterns)汇总在较低层，有助于表示更高层的概念(concepts)。例如，CNN 建立卷积特征检测器提取来自局部序列窗口的模式，并使用 max-pooling 来选择最明显的特征。然后，CNN 分层地提取不同层次的特征模式。

然而， CNN 在对空间信息进行建模时，需要对特征检测器进行复制，降低了模型的效率 。正如(Sabouret al, 2017)所论证的那样，这类方法所需复制的特征检测器的个数或所需的有标签训练数据的数量随数据维度呈指数增长。

另一方面， 空间不敏感的方法不可避免地受限于丰富的文本结构 (比如保存单词的位置信息、语义信息、语法结构等)， 难以有效地进行编码且缺乏文本表达能力 。

最近，Hinton 老师等提出了胶囊网络(Capsule Network), 用神经元向量代替传统神经网络的单个神经元节点，以 Dynamic Routing 的方式去训练这种全新的神经网络，有效地改善了上述两类方法的缺点。

正如在人类的视觉系统的推理过程中，可以智能地