多示例VS多标签VS多示例多标签-week2

一、多示例

      多示例学习属于弱监督学习中的一种，在对模型进行训练时，我们需要把训练数据分成正负包，再将每个包分成大小相同的示例，并且我们只对包的正负进行标注，而不对示例进行分类。当某个包被标识为正时，该包里必须包含一个示例为正，而其他示例既可能是负，也可能是正。而当一个包被标记为负时，它里面的所有示例一定全部为负，如图2-1所示。与监督学习相比，多示例学习中的每个示例都是没有标注的，而与无监督学习相比，多示例学习的训练数据包是有标注的。在以往的各类学习框架中，样本与示例通常是一一对应的关系，而在多示例学习中，我们将一个样本作为一个包，一个包中具有多个示例，样本和示例是一对多的关系，这就使得用以往的训练模式并没有很好解决的问题，现在通过多示例学习就能够更加容易的解决了。
      弱监督学习根据数据集标签情况大致可分为不完全监督、不确切监督和不准确监督学习三种：不完全监督学习中只有部分训练数据带有标签，不确切监督学习中训练数据只给出粗粒度的标签，不准确监督学习中训练数据的标签并不都是正确的。多示例学习属于不确切监督学习的一种，其只有粗粒度的标签信息可用。在多示例学习中，训练集由带标签的多示例学习包组成，多示例学习包由不带标签的示例构成，多示例学习算法的目的是预测测试集中多示例学习包的标签并找出决定多示例学习包标签的关键性示例。 

二、多标记学习

      举例来说，在功能基因组学问题中，每个基因可能同时具有多种功能，如“新 陈代谢”，“转录”以及“蛋白质合成”；在场景分类问题中，每幅场景图像可能 同时包含了多种语义信息，如“海滩”与“城市”；在视频自动标注问题中，每 个视频片断可能同时对应于多个语义类别，如“城市”与“建筑”等等。对于上 述这些多标记学习问题，训练集中的每个示例均对应于一组概念标记，学习系统 通过对多标记示例构成的训练集进行学习，以尽可能正确地预测训练集之外的示 例的概念集合。

       如果限定每个样本只对应于一个概念标记，那么传统的二类以及多类学习问 题均可看作多标记学习问题的特例。然而另一方面，多标记学习问题的一般性使 得解决该问题的难度大大增加。一种直观地解决多标记学习问题的方法是将其分 解为多个独立的二类分类问题来求解，其中每个二类分类问题对应于一个可能的 概念类。然而，由于该类方法没有考虑到每个样本所对应的概念标记之间的相关性，因此其泛化性能往往并不理想。例如，在文档类问题中，如果已知一篇文 档隶属于体育新闻类，则该文档同时隶属于休闲新闻类的可能性将大于其隶属于 政治新闻类的可能性。再比如，如果已知一段视频或一幅图像隶属于“野生动物” 类，则该视频或图像同时隶属于“草原”类的可能性将大于其隶属于“城市”类 的可能性。因此，多标记学习问题的主要难点就在于如何充分利用各训练样本所 含多个概念标记之间的相关性，从而有效地预测未知样本的概念标记集合。

三、多示例多标签学习

例如，在图像分类问题中，一幅图像通常包含多个区域其中每个区域可以由 一个示例进行表示，与此同时该图像可能同时隶属于“山”与“树”等多个概念 标记；在文本分类问题中，每个文档通常包含多个段落其中每个段落可以由一个 示例进行表示，而该文档在从不同的角度进行考察时可能同时隶属于“科幻小 说”、“儒勒·凡尔纳作品”甚至“旅游书籍”类；

该学习框架下，每个对象由多个示例表示且同时隶属于多个概念标记。