【论文笔记】Text Classification using Capsules

Introduction

本文将胶囊网络应用到文本分类任务中，并根据任务特点对模型做了一些改进，在实验中取得了不错的效果。
亮点：

• 用静态路由算法代替动态路由算法。
• ELU-gate的使用。

model

模型包含以下四层：

• input layer：将文本以词向量形式输入到网络中。
• convolutional layer：提取局部特征，并用一个gated-linear单元保存空间信息。
• convolutional capsule layer：将上一层提取的局部特征aggregate，得到全局特征。
• text capsule layer：输出预测的标签。

static routing

在图像处理中，我们需要考虑到低层实体的空间关系，比如人脸识别中鼻子和眼睛的位置；而在自然语言处理中，语序的变化有时并不会改变句子的原义。
动态路由算法：

静态路由算法：