基于胶囊网络的Fashion-MNIST数据集的10分类

胶囊网络

---

原文：Dynamic Routing Between Capsules
源码：https://github.com/XifengGuo/CapsNet-Fashion-MNIST

---

数据集

Fashion-MNIST数据集由70000张$28\ast 28$大小的灰度图像组成，共有10个类别，每一类别各有7000张图像。数据集划分为两部分，即训练集和测试集。其中，训练集共有60000张图像，每个类别各有6000张；测试集共有10000张图像，每一类别各有1000张。

胶囊网络结构

网络模型

采用CapsNet网络模型，该网络由两部分组成：编码器和解码器。前3层网络为编码器，即卷积层、PrimaryCaps层和DigitCaps层；后3层网络为解码器，即三层全连接层。

编码器

编码器以$28\ast 28$大小的Fashion-MNIST图像作为输入，以$16\ast 10$大小的矩阵作为输出。

论文数据集为MNIST

卷积层

该层用于检测图像的基本特征。卷积核大小为$9\ast 9$，步长为1，filter数为256，激活函数为Relu。输出大小为$20\ast 20\ast 256$。

PrimaryCaps层

该层接受卷积层检测到的基本特征，用于生成特征组合。该层共有32个PrimaryCapsules，每个PrimaryCapsules由8个卷积核为$9\ast 9$，步长为2的卷积组成。输出大小为$6\ast 6\ast 8\ast 32$。

DigitCaps层

该层由10个16维的DigitCapsules构成，每一个DigitCapsule对应一个类别。在DigitCapsules内部，每个输入通过$8\ast 16$的权重矩阵将8维输入空间映射至16维Capsules输出空间。输出大小为$16\ast 10$。

损失函数

$$L_k=T_{k}max(0,m^{+}-||v_k||{)}^2+\lambda (1-T_k)max(0,||v_k||-m^{-}{)}^2$$

其中，若真实标签$k$与预测标签$k$相同，则$T_k=1$，否则为0。$m^{+}$和$m^{-}$分别为0.9和0.1。$\lambda =0.5$用于确保训练中的数值稳定性。

$$v_j=\frac{\Vert s_j{\Vert }^2}{1+\Vert s_j{\Vert }^2}\frac{s_j}{\Vert s_j\Vert }$$

$v_j$表示第$j$个capsule输出的向量。

$$s_j=\sum _i{c}_{ij}{\hat{u}}_{j|i}$$

$s_j$为高层capsules的输入。$c_{ij}=\frac{exp(b_{i,j})}{{\sum }_{k}exp(b_{i}k)}$为耦合系数，其中$b_{ij}=b_{ij}+{\hat{u}}_{j|i}\cdot v_j$，初始时$b_{ij}=0$。

$${\hat{u}}_{j|i}=W_{ij}{u}_i$$

$W_{ij}$ 表示权重矩阵，$u_i$为低层capsules的输出，${\hat{u}}_{ij}$为预测向量，可视为底层capsules的输出向量进行仿射变换。

动态路由算法

解码器

解码器由三层全连接层构成，用于重建图像，损失函数为MSE函数。训练时仅使用正确的DigitCap向量。

实现细节

初始学习率为0.001，其随迭代次数增大而衰减，batch size为100，共100个epoch。

结果