【论文笔记】Sentiment Analysis by Capsules

本文设计了一个用于情感分类的新模型RNN-Capsule。虽然这里提到了胶囊，但和胶囊网络没啥关系，只是用到了胶囊的概念（一组神经元）。
每个胶囊对应一个情感类别，包含：

• an attribute（属性）：即设定的情感类别。
• a state（状态）：分为“active”和“inactive”。一组胶囊中只有一个（状态概率最大的）为“active”，其他均为“inactive”。
• three modules（模块）：representation module（表示模块）、 probability module（概率模块）和
  reconstruction module（重构模块）。representation module利用注意力机制建立胶囊向量；probability module输出胶囊的状态概率；reconstruction module对输入实例（句子或段落）的表示进行重构。

模型结构

输入实例首先经过RNN层得到隐层向量，再输入到各个胶囊。胶囊的数量等于情感类别的个数。每个胶囊的输出为概率$p_i$和重构向量 r s , i