Introduction
本文将胶囊网络应用到文本分类任务中,并根据任务特点对模型做了一些改进,在实验中取得了不错的效果。
亮点:
- 用静态路由算法代替动态路由算法。
- ELU-gate的使用。
model
模型包含以下四层:
- input layer:将文本以词向量形式输入到网络中。
- convolutional layer:提取局部特征,并用一个gated-linear单元保存空间信息。
- convolutional capsule layer:将上一层提取的局部特征aggregate,得到全局特征。
- text capsule layer:输出预测的标签。
static routing
在图像处理中,我们需要考虑到低层实体的空间关系,比如人脸识别中鼻子和眼睛的位置;而在自然语言处理中,语序的变化有时并不会改变句子的原义。
动态路由算法:
静态路由算法: