第三十一课.矩阵胶囊与EM路由

矩阵胶囊的前向计算

矩阵胶囊在向量胶囊的基础上改变了胶囊的表示方式，矩阵胶囊由激活概率与姿态矩阵两部分构成一个元组单位。激活概率用于表示矩阵胶囊被激活的概率，姿态矩阵用于表示胶囊的姿态信息。在向量胶囊的前向计算中，动态路由被视为胶囊元的非线性激活函数，对于矩阵胶囊，胶囊元的前向计算采用EM路由作为非线性激活函数，EM路由是根据EM算法中Estep和Mstep组成的参数估计方法。矩阵胶囊元的前向计算过程如图。对于胶囊元$j$，输入多个低层矩阵胶囊，经过EM路由输出一个矩阵胶囊。其中，低层胶囊的姿态矩阵需要经过变换矩阵进行视觉坐标的线性变换得到投票矩阵，而激活概率不进行变换。矩阵$W_{ij}$表示低层胶囊$i$到高层胶囊$j$的视觉坐标变换。高层胶囊的激活概率$a_j$表示胶囊元$j$所对应特征被激活的概率。

结合上图所示的矩阵胶囊元，现考虑多个胶囊元并构建一层胶囊网络，令${\Omega }_L$和${\Omega }_{L+1}$分别表示低层胶囊和高层胶囊的集合，$V_{ij}^h$表示投票矩阵$V_{ij}$变形为向量后的第$h$个元素，假设路由迭代数为$T$，EM路由过程为：

步骤1. 对于任意的胶囊$i\in {\Omega }_L$和胶囊$j\in {\Omega }_{L+1}$，初始化两个胶囊间的连接概率为均匀分布：$$R_{ij}=\frac{1}{|{\Omega }_{L+1}|}$$
步骤2. 在迭代第$t$次时，依次执行：遍历胶囊$j\in {\Omega }_{L+1}$，执行$Mstep(a,R,V,j)$；遍历胶囊$i\in {\Omega }_L$，执行$Estep(\mu ,\sigma ,a,V,i)$；记$t=t+1$。

步骤3. 当迭代次数满足$t=T$时，返回高层胶囊的激活概率$a$和姿态矩阵$M$；否则执行步骤2。

EM路由的Estep和Mstep

在EM路由过程中，$Mstep(a,R,V,j)$定义为：

• 遍历胶囊$i\in {\Omega }_L$，修正连接概率：$$R_{ij}=R_{ij}{a}_i$$
• 对投票矩阵$V_{ij}$中任意的第$h$个元素，计算高斯混合模型的均值和方差：$${\mu }_j^h=\frac{{\sum }_i{R}_{ij}{V}_{ij}^h}{{\sum }_i{R}_{ij}},({\sigma }_j^h{)}^2=\frac{{\sum }_i{R}_{ij}(V_{ij}^h-{\mu }_j^h{)}^2}{{\sum }_i{R}_{ij}}$$
• 计算第$h$个元素对应的代价：$$cos{t}_j^h=({\beta }_u+log({\sigma }_j^h))\sum _i{R}_{ij}$$
• 根据代价计算激活概率：$$a_j=sigmoid(\lambda ({\beta }_a-\sum _{h}cos{t}_j^h))$$

其中，${\beta }_u,{\beta }_a$是可学习参数，$\lambda$是退火系数，随着迭代次数上升而增大。姿态矩阵$M_j$的第$h$个元素取高斯混合模型的均值${\mu }_j^h$。代价的推导过程如下：

---

对于低层胶囊$i$和高层胶囊$j$的连接，用$P_{i|j}^h$表示胶囊$i$到胶囊$j$的投票矩阵在第$h$个元素上的正态分布：$$P_{i|j}^h=\frac{1}{\sqrt{2\pi ({\sigma }_j^h{)}^2}}exp(-\frac{(V_{ij}^h-{\mu }_j^h{)}^2}{2({\sigma }_j^h{)}^2})$$
概率取对数得到：$$ln(P_{i|j}^h)=-\frac{(V_{ij}^h-{\mu }_j^h{)}^2}{2({\sigma }_j^h{)}^2}-ln({\sigma }_j^h)-\frac{ln(2\pi )}{2}$$
结合胶囊间的连接概率信息，并取相反数得到损失的表达：$$cos{t}_j^h=\sum _i-R_{ij}ln(P_{i|j}^h)=(ln({\sigma }_j^h)+\frac{1}{2}+\frac{ln(2\pi )}{2})\sum _i{R}_{ij}$$
这个损失也被称为代价，代价的表达式实际上是信息熵的表达式，代价越小，信息熵越小，胶囊的不确定性越小，因此应该以更大概率激活胶囊：$$a_j=sigmoid(\lambda (k-\sum _{h}cos{t}_j^h))$$其中，$k,\lambda ,\frac{1}{2}+\frac{ln(2\pi )}{2}$都是常数。常数的调整可以改变胶囊网络激活胶囊的能力。

---

EM路由中，$Estep(\mu ,\sigma ,a,V,i)$定义为：

• 遍历胶囊$j\in {\Omega }_{L+1}$，对于胶囊$i$到胶囊$j$的投票矩阵，计算16个元素所对应高斯分布的联合概率：$$P_j=\frac{1}{\sqrt{{\prod }_h^{16}2\pi ({\sigma }_j^h{)}^2}}exp(-\sum _h^{16}\frac{(V_{ij}^h-{\mu }_j^h{)}^2}{2({\sigma }_j^h{)}^2})$$
• 遍历胶囊$j\in {\Omega }_{L+1}$，更新胶囊$i$到胶囊$j$的连接概率：$$R_{ij}=\frac{a_j{P}_j}{{\sum }_{k\in {\Omega }_{L+1}}{a}_k{P}_k}$$

EM路由过程中的$Estep(\mu ,\sigma ,a,V,i)$用于得到低层胶囊$i$到高层胶囊$j$的连接概率，$Mstep(a,R,V,j)$将连接概率代入高斯混合模型的极大似然参数估计表达式，得到均值和方差，从而得到姿态矩阵，再计算代价得到高层胶囊$j$的激活概率。

卷积架构下的矩阵胶囊网络

卷积架构下的矩阵胶囊网络如图所示。卷积胶囊网络由卷积层，矩阵预胶囊层，卷积矩阵胶囊层组成。输入图像经过卷积层得到通道数为A的特征图。使用两组卷积模块分别对特征图计算，第一组卷积模块为B个并行的卷积网络，每个卷积网络的卷积核大小为$1\times 1$，通道数为$4\times 4$。第二组卷积模块也是B个并行的卷积网络，每个卷积网络的卷积核大小为$1\times 1$，通道数为1。因此预胶囊层的参数数量为$1\times 1\times A\times B\times (4\times 4+1)$。将两组卷积的张量在最后一维拼接得到由胶囊构成的特征图。使用向量胶囊网络构建滤波器，在胶囊的特征图上计算卷积即称为卷积矩阵胶囊层。第一层卷积矩阵胶囊层输入通道数为B，输出通道数为C，令卷积核大小为$K\times K$，由于每个转换矩阵$W_{ij}\in R^{4\times 4}$，因此，该卷积矩阵胶囊层的参数数量为$K\times K\times B\times C\times (4\times 4)$。同理，在图中，第二层卷积矩阵胶囊层的参数数量应当为$K\times K\times C\times D\times (4\times 4)$。在最后一层输出胶囊集合时，先基于激活概率进行最大池化，即在图中反映为$i=1$，再使用全连接胶囊网络计算，因此参数数量为$D\times E\times (4\times 4)$。

如果令A,B,C,D=32，输入图像为1通道的$32\times 32$灰度图，卷积核大小均设置$K=3$。第一层胶囊卷积的步长为2，第二层胶囊卷积步长为1，均不设填充。输出胶囊集合为$E=10$。则从张量变换的角度看，张量形状变化如下图所示。

矩阵胶囊的损失函数

矩阵胶囊网络基于折页函数构建损失，并在向量胶囊损失函数的基础上进行了化简。对于一个样本，记输出胶囊中标签目标类别 $t$ 的激活概率为$a_t$，其他类别$i$的激活概率为$a_i$，则类别$i$与目标类别$t$的损失计算为：$$L_i=max(0,m-(a_t-a_i){)}^2$$从损失的形式上可见，当目标类别的激活概率小于其他类别 $i$ 的激活概率时，损失值会增加。其中，$m$为折页的限制边界，在训练过程中，逐步从0.2上升至0.9，递增折页边界有利于逐步软化输出的概率分布，增强模型的泛化能力。一个样本的损失为所有类别损失的加和：$$L=\sum _{i\ne t}{L}_i$$如果固定地取值$m=1$，函数$L$从形式上等价于多分类支持向量机的损失。