＜论文阅读04＞ Attention-based Deep Multiple Instance Learning

引入

  题目：基于注意力的深度多实例学习（Attention-based Deep Multiple Instance Learning）
  Bib：

@inproceedings{ilse2018attention,
  title		=	{Attention-based deep multiple instance learning},
  author	=	{Ilse, Maximilian and Tomczak, Jakub and Welling, Max},
  booktitle	=	{International conference on machine learning},
  pages		=	{2127--2136},
  year		=	{2018},
  organization=	{PMLR}
}

  摘要:
  多示例学习 (MIL) 是监督学习的一种变体，其中将单个类标签分配给一个包。 在本文中，我们将 MIL 问题描述为学习包标签的伯努利分布，其中包标签概率由神经网络完全参数化。 此外，我们提出了一种基于神经网络的置换不变聚合算子，它对应于注意力机制。 值得注意的是，所提出的基于注意力的算子的应用可以深入了解每个实例对包标签的贡献。 我们凭经验表明，我们的方法在基准 MIL 数据集上实现了与最佳 MIL 方法相当的性能，并且它在基于 MNIST 的 MIL 数据集和两个真实组织病理学数据集上优于其他方法，而不会牺牲可解释性。

1 方法概述

  在本文中，提出了一种新方法，旨在将可解释性融入 MIL 方法并增加其灵活性。我们使用包标签的伯努利分布来制定 MIL 模型，并通过优化对数似然函数来训练它。我们表明，对称函数基本定理的应用为包标签概率（包分数函数）建模提供了一个通用过程，该过程包括三个步骤：
（i）将实例转换为低维嵌入，
（ii ）一个置换不变（对称）聚合函数，
以及（iii）对包概率的最终转换。
建议使用神经网络（即卷积层和全连接层的组合）对所有变换进行参数化，这增加了方法的灵活性，并允许通过优化无约束的目标函数以端到端的方式训练模型.最后但并非最不重要的一点是，我们建议用可训练的加权平均值替换广泛使用的置换不变算子，例如最大算子 max 和平均算子平均值，其中权重由两层神经网络给出。两层神经网络对应于注意力机制 (Bahdanau et al., 2014; Raffel & Ellis, 2015)。值得注意的是，注意力权重使我们能够找到关键实例，这些实例可以进一步用于突出可能的 ROI。

关键技术

注意力进制。。。。