【MIML】论文阅读与翻译——Multi-instance learning with key instance shift.（2017）

Y.-L. Zhang and Z.-H. Zhou. Multi-instance learning with key instance shift. In: Proceedings of the 26th International Joint Conference on Artificial Intelligence (IJCAI’17), Melbourne, Australia, 2017, pp.3441-3447.

摘要：

  多实例学习（MIL）处理的任务是每个实例都由一包实例表示。一个袋子如果至少包含一个正实例，则为正，否则为负。正实例也称为关键实例。仅观察到袋子标签，而特定实例标签在MIL中不可用。先前的研究通常假设训练和测试数据遵循相同的分布，这在许多实际任务中可能会被违反。在本文中，我们解决了关键实例的分布在训练和测试阶段之间变化的问题。我们将此问题称为具有关键实例转移的MIL，并通过提出一种基于嵌入的方法MIKI来解决该问题。具体来说，为了将包转换为信息向量，我们提出了一个加权的多类模型，以选择具有高肯定性的实例作为实例原型。然后，我们了解变换后的袋向量的重要性权重，并将原始实例权重合并到其中，以缩小训练/测试分布之间的差距。当关键实例转移发生时，实验结果验证了我们方法的有效性。

1 Introduction

  多实例学习（MIL）[Herrera et al。，2016]处理的任务是每个实例都由一包实例表示。一个袋子如果至少包含一个正实例，则为正，否则为负。触发肯定标签的实例也称为关键实例。仅观察到袋子标签，而MIL中未知实例标签。 MIL已应用于许多领域，包括图像分类[Zhang等，2002]，文本分类[Andrews等，2002]和Web挖掘[Zhou等，2005]等。
  MIL的先前研究通常假定训练和测试数据来自同一分布，这在许多实际任务中可能会被违反。当在不同的时间，位置或以不同的标签成本等收集培训和测试数据时，可能会出现分布差异。以文本分类为例，假设我们要判断文本是否与“运动”有关，并且训练/测试数据分别在2012/2016年收集。然后，与训练数据相比，测试数据中关于“科比·布莱恩特”的文字可能更少，而关于“斯蒂芬·库里”的文字更多。在这里，包含“科比·布莱恩特”或“斯蒂芬·库里”的段落可以被视为关键实例。在这种情况下，关键实例的分配由于收集时间的不同而在训练和测试阶段之间发生变化。另外，如果分别在美国/中国收集了训练/测试数据，则与训练数据相比，测试数据中关于“棒球”的文字可能更少，但是关于“乒乓球”的文字更多。在此，带有“棒球”或“乒乓球”的段落可以被视为关键实例。关键实例的分布因收集位置不同而有所不同。在本文中，我们将此问题形式化为具有关键实例移位的MIL，并提出了MIKI（具有关键实例移位的多实例）方法来解决。
  本文的其余部分安排如下。第2节回顾了相关工作。第3节介绍了建议的方法。第4节报告了实验结果。第5节将提出的方法应用于运动对象定位问题，第6节总结。

2 Related Work

  多实例学习最早是在[Dietterich等，1997]中提出的。从那时起，提出了许多方法，主要分为两类：一些尝试直接解决任一实例级别的MIL问题[Maron和Lozano-P´erez，1998； Li等，2009； Faria等人，2017年]或购物袋水平[Gartner等人，2002年； Zhou et al。，2009]，而其他人则通过嵌入将MIL转换为单实例学习，其中MILES [Chen et al。，2006]是典型代表，还有许多方法[Amores，2015;袁等人，2016; Wei等人，2017]就是按照这种方式最近提出的。值得注意的是，以前的MIL方法通常假设训练和测试数据遵循相同的分布。(Q：实验中的数据是不是这样的不是很清楚）相反，我们考虑了关键实例转移问题，据我们所知，该问题尚未得到彻底研究。
  此外，由于收集数据的差异，训练和测试数据之间的分布可能总是会发生变化，其中协变量移位[Shimodaira，2000]引起了人们的广泛关注。在协变量平移中，训练阶段和测试阶段的输入分布P（x）不同，但是输出P（y | x）的条件分布保持不变。协变量平移的一种常见方法是重要性重加权，它为每个训练实例x分配权重w（x）= pte（x）/ ptr（x），以通过某些标准减少训练和测试边际的差异[Sugiyama等。 ，2012]。注意，需要测试数据来估计分布差异。已经提出了许多估计重量的方法，例如KMM [Huang等，2006]，KLIEP [Sugiyama等，2008]，LSIF和uLSIF [Kanamori等，2009]等。这些研究集中于单实例学习。
  我们工作中最相关的文献是[Zhang和Zhou，2014]，它考虑了MIL遇到分布变化的情况，并提出了MICS方法。与考虑由多个实例及其关系决定行李标签的情况相反[Zhang and Zhou，2014]，本文采用标准的MIL设置，即行李标签由关键实例决定，并考虑分布变化关键实例的问题。

3 MIL with Key Instance Shift

3.1 Problen Statement and Notations

  

3.2 Proposed Method

  MIKI遵循基于嵌入的方式[Chenet et al。，2006]，该方法通过嵌入将包转换为单个实例向量。为了处理关键实例转移问题，我们尝试从训练集和测试集中选择关键实例候选作为实例原型，以便可以对袋级信息和关键实例转移信息进行编码。具体而言，假设肯定实例属于不同的子概念，则关键实例转移可能会落入这些子概念中的任何一个中。假设有K个子概念以及否定概念，我们建立了（K +1）类模型来区分不同的子概念和否定概念。如果某个实例属于得分高的任何子概念，则该实例将被视为具有高概率的关键实例候选对象。这样，可以捕获不同的变速信息。此外，为了减轻关键实例转移的影响，我们引入了实例权重以平衡不同的分布（即，代表不足/代表过多的实例的权重较高/较低），以便所选实例原型可以包含更多关键实例并进行更多编码关键实例转移信息。类似地，在获得变换后的袋向量后，我们为它们学习权重以缩小训练/测试分布的差距。请注意，如果一个实例很重要，则包含它的包也应该被估价，因此我们将原始实例的权重进一步合并到转换后的包向量的权重中。通过变换后的布袋向量及其权重学习最终模型。图1总结了我们的MIKI方法。