Capsule Routing的总结，以及最近的应用和改进

1、Generalized Capsule Networks with Trainable Routing Procedure

• 问题

1. 路由算法的迭代次数不是自动更新，而是人工调整

• 解决方法

1. 将耦合系数融入整个网络中，与所有参数一起更新

2、Capsule Routing via Variational Bayes（AAAI2020）

• 问题

1. 建模胶囊的姿态参数的不确定性造成方差崩塌

• 解决方法

1. 提出了一种新的路由方法，用以拟和一种变换高斯混合的变分贝叶斯

3、Self-Routing Capsule Networks

• 问题

1. 无监督聚类特性导致两个问题：1）计算复杂度高；2）聚类假设在输入的时候不存在严重的噪声

• 解决方法

1. 提出一种新的自路由方法，每个胶囊由其下的路由网路独立路由运行

4、Capsule Routing for Sound Event Detection（EUSIPCO）

• 问题

1. 无

• 解决方法

1. 无

• 将胶囊网络运用到环境声音检测

5、Investigating Capsule Networks with Dynamic Routing for Text Classification

• 问题

     1、无

• 解决方法

1. 无

• 提出三种稳定胶囊路由策略减轻一些噪声胶囊的影响

• 将胶囊网络应用到了文本分类中

6、Detecting Pneumonia Using Convolutions and Dynamic Capsule Routing for Chest X-ray Images

• 将胶囊网络应用到胸部X-射线图像中

7、CapsuleVOS: Semi-Supervised Video Object Segmentation Using Capsule Routing（ICCV2019）

• 问题

• 解决方法

• 将胶囊网络应用到弱监督视频分割中

8、Attention-Based Capsule Networks with Dynamic Routing for Relation Extraction（EMNLP2018）

• 问题

• 解决方法

• 将胶囊网络应用到多实例多标签的学习中

9、STAR-CAPS: Capsule Networks with Straight-Through Attentive Routing（NIPS2019）

• 问题

1. 循环路由造成的计算复杂度造成胶囊网络在大数据集上表现很差

• 解决方法

1. 提出一种Star-Caps, 直通的注意力路由，该机制利用可微的二进制路由增强注意模块，估计路由系数，决定链接或者断开某个胶囊

10、Visual-textual Capsule Routing for Text-based Video Segmentation（CVPR2020）

11、Introducing Routing Uncertainty in Capsule Networks（CVPR2020）

• 问题

• 解决方法

• 提出一种新的，基于部件-对象分配中不确定性的全局视图；局部迭代将会被概率胶囊网络中的部件-对象连接的变分推理替代，在不会损失性能的前提下，获得较大的加速。

12、Capsule Networks Need an Improved Routing Algorithm

• 问题

• 解决方法

• 为了开发胶囊网络的潜能，我们需要对路由算法进行改进，现有的路由算法并不能达到预期觉得结果

13、Dynamic Routing Capsule Networks for Mild Cognitive Impairment Diagnosis(MICCAI2019)

• 问题

• 解决方法

• 首次将胶囊网络引入MCI诊断

14、Weighted-capsule routing via a fuzzy Gaussian model（Pattern Recognition Letters2020）

• 问题

1. 胶囊网络仍然在图像的背景和噪声中苦苦挣扎

• 解决方法

1. 提出一种新的路由算法，加权的胶囊模糊高斯模型和pose损失函数；

2. 该方法旨在禁止非正常的孩子胶囊污染父胶囊，

3. pose损失函数增加分类的准确性

15、CAPSULES WITH INVERTED DOT-PRODUCT ATTENTION ROUTING（ICLR2020）

• 问题

• 解决方法

16、Dynamic Layer Aggregation for Neural Machine Translation with Routing-by-Agreement（AAAI2019）

• 问题

• 解决方法

• 将动态路由的核心思想融入到翻译中

17、Attention Routing Between Capsules（ICCV2019）

• 问题

• 解决方法

• 将动态路由和挤压函数用注意路由和胶囊激活替代

18、AN OPTIMIZATION VIEW ON DYNAMIC ROUTING BETWEEN CAPSULES（ICLR2018）

• 问题

• 解决问题

• 基于动态路由算法提出新的路由算法，比之前的性能更好

19、EFFICIENT-CAPSNET: CAPSULE NETWORK WITH SELF-ATTENTION ROUTING（2021）

• 问题

1. 理论上胶囊网络可以用极少的参数实现更好的效果，这是由于总是以新的观点去总结概括

• 解决方法

1. 提出一种的新的不需要迭代的算法，高度并行的算法

21、Multi-Labeled Relation Extraction with Attentive Capsule Network（AAAI2019）

• 问题

1. 每个句子代表一个标签，现有的方法不能处理多个关系，关系之间有重叠性，容易被忽视或者很难去确认

• 解决方法

1. 提出一种基于胶囊网络的多关系提取模型，设计了基于注意力的算法和sliding-margin loss