对胶囊网络中的路由机制的解析和思考

一、提出背景

胶囊网络被提出在《Dynamic Routing Between Capsules》论文中。

传统的神经网络的每一层有多个神经元，每个神经元是一个值，一个值相当于一个特征。这些值的大小表示了真实的含义，比如手写数字识别中，神经网络的输出层的每个神经元的值表示数字的概率。

有的时候，每个神经元是一个值是无法是不够的。比如下图中，倒数第二层的神经元的值表示对应器官存在的概率，最后一层表示是人脸的概率。然而，由倒数第二层的5个图是无法组成正常的人脸的，因为这些值没有表达出器官的方向、大小等特征。

为了更精确的表达特征，作者提出了一种胶囊网络。神经网络的每一层不再是多个神经元，而是多个胶囊，每个胶囊是多个神经元，因此每个胶囊存贮了多个特征。比如下图中，每个胶囊是个3维的向量，表示了三个特征，这三个特征可以为（可能性，大小，方向）。