多示例学习

1.一个栗子（转载）：知乎–幽兰-多示例学习
多示例学习(multiple-instance learning)[1]由Dietterich等人在1997年提出，其与监督学习、半监督学习和非监督学习有所不同，它是以多示例包(bag)为训练单元的学习问题。在多示例学习中，训练集由一组具有分类标签(label)的多示例包(bag)组成，每个多示例包(bag)含有若干个没有分类标签的示例(instance)。如果多示例包(bag)至少含有一个正示例(instance)，则该包被标记为正类多示例包（正包）。如果多示例包的所有示例都是负示例，则该包被标记为负类多示例包（负包）。多示例学习的目的是，通过对具有分类标签的多示例包的学习，建立多示例分类器，并将该分类器应用于未知多示例包的预测。

很多传统的分类问题可以转化为多示例学习问题。例如，在图像分类中，我们把含有“大象”的图像被分为正类，不含有“大象”的图像被分为负类。在训练集中，假设60幅图像含有“大象”，40幅图像不含有“大象”。
图一：原图像
（1）对于上图，在传统分类中，一幅图像可以转化为一个向量（示例）。因此，数据集中有60个正类示例（图像）和40个负类示例（图像）。每一个示例（图像）的label都是已知的，训练集给定的。在60个正类示例和40个负类示例的基础上，建立分类器，区分正类示例和负类示例

（2）但是，一幅可能包含复杂的内容信息，譬如这幅画不仅含有“大象”，还包含了天空、和草地等多个图像内容。对于“大象”来说，“天空”和“草地”可以被认为是噪声，这导致预测时分类精确度的降低。

（3）因此如果把整幅图像看作单个向量，难以充分描述多个图像内容。为此，研究者把图像按照不同内容区域进行分割，如下：

图2：分割为3个区域
我们把图2看作一个多示例包bag，1个分割区域看作一个示例instance。由于图2含有3个分割区域，因此图2的多示例包含有3个示例instance。每一个分割区域（instance）可以转化为1个向量。因此，图2的多示例包含有3个向量，这就把传统的图像分类转化为多示例学习问题。

在多示例学习中，多示例包bag的label是已知的，示例instance的label是未知的。图2属于正类，含有“大象”，这个图像label是训练集给定的。但是，图2的3个分割区（instance），哪个区域含有大象，哪个区域不含有大象，我们是不知道的。因此，在多示例中，多示例包bag (图像)的label是已知的（训练集给定的），但是，示例instance（分割区域）的label是未知的。我们的任务是，在正类多示例包bag和负类多示例包bag的基础上，建立分类器，区分正类多示例包和负类多示例包。困难之处在于，每个多示例包含有若干个示例（向量），只有多示例包（图像）的label是已知的，多示例包里面的示例（分割区域）的label是未知的。

Dietterich T G, Lathrop R H, Lozano-Pérez T. Solving the multiple instance problem with axis-parallel rectangles[J]. Artificial intelligence, 1997, 89(1-2): 31-71.