论文(二)：Kernel Self-Attention for Weakly-supervised Image Classification using Deep Multiple Instance

基于深度多实例学习的弱监督图像分类的核自注意

Kernel Self-Attention for Weakly-supervised Image Classification using Deep Multiple Instance Learning

1、Abstract

​ 并非所有的监督学习问题都是用一对固定大小的输入张量和一个标签来描述的。在某些情况下，特别是在医学图像分析中，一个标签对应于一个实例包(例如图像补丁)，为了对这个包进行分类，需要从所有实例中聚合信息。有几次尝试创建一个使用实例包的模型，但是，他们假设包内没有依赖关系，并且标签连接到至少一个实例。在这项工作中，我们引入了自注意的基于注意的MIL池(SA-AbMILP)聚合操作来解释实例之间的依赖性。我们在MNIST、组织学、微生物学和视网膜数据库上进行了一些实验，以表明SA-AbMILP比其他模型表现更好。此外，我们还研究了自我注意的内核变化及其对结果的影响。

问题：之前的MIL没有考虑包内示例间的联系性
方案：引入self-attention的MIL池聚合来解释示例之间的依赖性
数据集：MNIST、两个乳腺癌和结肠癌组织学数据集、微生物数据集DIFaS和视网膜图像筛选

2、结论

​ 在本文中，我们将自注意应用到基于注意的MIL Pooling (SA-AbMILP)中，将图像区域间的多层次依赖关系与加权平均Pooling的可训练算子相结合。

​ 自我注意检测实例之间的关系，因此它可以将类似实例存在的信息嵌入到实例特征向量中，或者发现特定实例的组合将袋子定义为正包。

​ 我们证明，在较大数据集的情况下，使用自注意的各种核代替常用的点积是可取的。

​ 实验表明，覆盖范围更广的MIL假设的方法更适合实际问题。因此，在未来的工作中，我们计划引入更具有挑战性的MIL假设的方法，如集体假设，并将其应用到更复杂的任务中，如使用Nancy组织学指数进行消化道评估。此外，我们计划使用原型网络引入更好的可解释性。

3、MIL

​ 经典的MIL问题中，当且仅当所有示例均为负，则该包为负包。

​ 这种假设是比较严格的，不适应于许多现实世界的问题。比如同时出现沙子和海边才能说是海滩。

让C_hat 属于C，C为所有可能出现的示例种类。C_hat为满足正包所需要的示例种类，当前仅当C_hat每一个都存在，则为正包。

​ 升级版：设置一个阈值，对于C_hat中每个示例出现的次数提出要求。

​ 本文中，三种方式都进行了实验。

4、Methods

4.1、AbMILP

​ AbMILP是一种加权平均池，通过2层神经网络训练决定示例的权重。

tanh防止了梯度爆炸，包大小不同，权重总和为1.并且示例在包内的顺序是随机的，以防止过拟合。

4.2、SA-AbMILP

​

分类过程分为四步：

1. 袋子图像通过CNN得到各个示例的表示
2. 自我注意模块：(使用点积或其他内核)使用这些表示来将示例的依赖性集成到流程中。
3. 将具有集成依赖关系的特征向量用作AbMILP模块的输入，为每个包获得一个固定大小的向量。
4. 这个向量通过一个FC层输出。

4.3、self-attention

自我注意力机制详细解释可以看这里。

4.4、Kernels in self-attention

​ 自注意机制通常使用点积，点积可以用SVM或CNN中观察为整的各种核替换，特别是在小型训练集的情况下。其中径向基函数(RBF)和拉普拉斯核已成功应用于自我注意[14,29]。以上是一些标准选择的核。

5、Experiments

数据集：MNIST - 采用LnNet5架构

colon [25] and breast [10] cancer - SC-CNN[25]应用与[13]一样

微生物数据集DIFaS[38] - ResNet-18[12]或AlexNet[16]的卷积部分

和名为“Messidor”[5]的糖尿病视网膜病变筛查数据集。 - ResNet-18

IFaS[38] - ResNet-18[12]或AlexNet[16]的卷积部分

和名为“Messidor”[5]的糖尿病视网膜病变筛查数据集。 - ResNet-18

实验细节详见论文。