【论文阅读】Attention-based Deep Multiple Instance Learning

题目：CCF A-Loss-Based Attention for Deep Multiple Instance Learning

International conference on machine learning

摘要

多实例学习 (MIL) 是监督学习的一种变体，其中将单个类标签分配给一袋实例。
在本文中，我们将 MIL 问题描述为学习包标签的伯努利分布，其中包标签概率由神经网络完全参数化。此外，我们提出了一种基于神经网络的置换不变聚合算子，它对应于注意机制。值得注意的是，所提出的基于注意力的算子的应用可以深入了解每个实例对包标签的贡献。
我们凭经验表明，我们的方法在基准 MIL 数据集上实现了与最佳 MIL 方法相当的性能，并且它在基于 MNIST 的 MIL 数据集和两个真实组织病理学数据集上优于其他方法，而不会牺牲可解释性。

引入

多示例学习：
假设图像清楚地代表了一个类别（一个类）。然而，在许多实际应用中，会观察到多个实例，例如，计算病理学、乳房 X 线摄影或 CT 肺筛查）中尤为明显，其中图像通常由单个标签（良性/恶性）或区域描述粗略地给出了兴趣
MIL 处理分配了单个类标签的实例包。因此，MIL 的主要目标是学习一个预测袋子标签的模型
利用包之间的相似性 (Cheplygina et al., 2015b)，将实例嵌入到紧凑的低维表示中，然后进一步馈送到包级分类器、实例级分类器的响应

背景：
目前的一些方法：利用包之间的相似性 (Cheplygina et al., 2015b)，将实例嵌入到紧凑的低维表示中，然后进一步馈送到包级分类器；并结合实例级分类器的响应。只有最后一种方法能够提供可解释的结果。但此类方法的实例级准确度较低。

本文：
提出了一种新方法，旨在将可解释性融入 MIL 方法并增加其灵活性。
我们使用包标签的伯努利分布来制定 MIL 模型，并通过优化对数似然函数来训练它。
对称函数的基本定理为包标签概率建模提供了一个过程：（1）将实例转化为低维嵌入；（2）一个置换不变（对称）的聚合函数；（3）对包概率的转换
本文建议使用神经网络（即卷积层和全连接层的组合）参数化所有转换，并允许通过优化无约束的目标函数以端到端的方式训练模型。
本文建议用可训练的加权平均值替换广泛使用的置换不变算子，例如最大算子最大值和平均算子平均值，其中权重由两层神经网络给出。两层神经网络对应于注意力机制。值得注意的是，注意力权重使我们能够找到关键实例，这些实例可以进一步用于突出可能的 ROI。

相关概念

置换不变（permutation-invariant）
       指的是特征之间没有空间位置关系
对数似然函数（log-likelihood function）
       从模型得到一个函数，优化该函数得到合适的参数;利用结果反推出导致结果的参数值参考
伯努利分布（Bernoulli distribution）
       两点分布/0-1分布
对称函数（Symmetric Functions）
函数的输出值不随输入变数的排列而改变参考
最大算子（maximum operator）
神经网络参数化
MIL 池化 σ
MIL 池化算子
最大算子
平均算子
tanh函数链接

符号系统

符号	含义
X = { x 1 , …