Disambiguation-Free Partial Label Learning无歧义部分标记学习

相关工作：PL训练示例传递的监督信息是隐式的，因为地面真实值标签隐藏在候选标签集中。因此，部分标记学习可以看做是一个具有隐含标记信息的弱监督学习框架。它介于监督谱的两端，即显性监督的监督学习和盲目监督的非监督学习。部分标记学习和其他流行的弱监督学习框架相关，如半监督学习，多实例学习和多标记学习。然而，通过部分标签学习处理的弱监督信息的类型不同于那些对应的框架，

半监督学习的任务是从少量标记的示例和大量未标记的示例中学习。对于未标记示例和Pl示例，学习系统都无法访问地面真实标记信息，但有区别。 

半监督学习

未标记示例	地面真实标签假定整个标签空间
PL示例	地面真实标签限制在候选标签集中

 在多实例学习中，需要从标记的示例中学习，每个示例由一包实例表示[3]，[18]。对于多实例示例或PL示例，单个实例和标签之间的实际对应关系是不明确的。

多实例学习

多实例示例	歧义出现在实例包中
PL示例	歧义出现在候选标签集中

 在多标签学习中，任务是从与多个类标签相关联的示例中学习[21]，[39]。对于多标签示例和PL示例，实例可用的标签信息都是非唯一的。

多标签学习

多标签示例	关联的标签都是有效的标签
PL示例	关联的标签只是候选标签

 

 

研究背景：在部分标签学习中，每个训练示例都与一组候选标签相关联，其中只有一个是地面真实标签。归纳预测模型的常用策略是试图消除候选标签集的歧义，即区分单个候选标签的建模输出。具体来说，通过微分消除歧义可以通过迭代的识别基本真值标签或平等的对待每个候选标签来进行。

存在问题：消歧策略很容易被假阳性标签和地面真实性标签所误导。假阳性标签和候选标签集中的基本真理标签协同出现。

部分标签PL学习处理的问题是，每个训练示例与一组候选标签相关联，其中只有一个对应于基本真理标签。

部分标签学习的最终目标是产生一个多类分类器f:x_y,从实例空间到标签空间的Y映射。 

应用：1.在自动面部命名中，对于新闻文档，可以将从新闻图中中检测到的每个面部视为实例，并将从相关字幕中提取的那些名称视为候选标签，而每个面部与其地面真实性标签之间的实际对应关系未知。2.在在线对象注释中，对于绘画图像，可以将web用户对其绘画风格的自由注释视为候选标签，而绘画图像与其地面真实性标签之间的实际对应关系未知。3.对象分类，4，面部年龄估计。5.生态信息学等。

部分标签学习的主要困难：PL训练示例的地面真值标签隐藏在其候选标签集中，因此学习算法无法直接访问。因此，从PL示例中学习的常见策略是消除歧义，即区分各个候选标签的建模输出，一遍恢复基本真理标签信息。

消除歧义的常见两种方法：1，通过识别消除歧义，以竞争的方式区分各个候选标签的建模输出。具体而言，地面真实标签被视为一个潜在变量，该变量通过迭代细化程序识别，如EM。2，通过平均值消除歧义，以写作方式区分各个候选标签的额建模输出。具体地说，每个候选标签都被同等的对待，最终预测是通过平均其建模输出来进行的。对于2候选标签平均来消除歧义，地面真实标签产生的基本建模输出可能会被假阳性标签产生的建模输出所淹没。此外，对于这两种消歧方法中的任何一种，假阳性标签引入的负面影响都会随着候选标签集大小的增加而更加明显。

解决办法：研究了一种新的不进行歧义消除的部分标记学习策略（不通过区分单个候选标签的建模输出来进行消歧）。具体来说，通过采用纠错输出码ECOC，提出了一种简单而有效的方法PL-ECOC，该方法避免了将候选标签集作为一个整体来进行消歧。在训练阶段，为了构建二元分类器w.r.t每列编码，只有当其候选标签集完全落入编码二分法时，任何部分标记的示例才会被是为正或负训练示例。在测试阶段，通过基于损失的解码来确定位置实例的类别标签（不可见实例的类别标签通过基于损失的解码确定），该解码考虑了二进制分类器的经验性能和预测裕度。

所用数据集：UCI数据集以及显示世界的PL数据集

3 PL-ECOC方法

3.1多类分类器的二元分解

	one-ve-rest	one-vs-one
归纳出二元分类器个数	q
每个类别标签	yj ()	(yj,yk) （）
正示例	来自yj的训练示例	yj的训练示例
负示例	剩余的训练示例	yk的训练示例
二元分类器的输出	作为类标签的预测置信度	作为类标签的投票
如何确定不可见是咧的预测	通过选择分类器输出最大的类标签	通过选择从所有二元分类器中获得最大投票的类标签

不幸的是，在部分标签学习的情况下，无论是one-vs-rest还是one-vs-one分解机制，都不能用于多类分类器。由于PL训练示例的地面真实标签无法直接访问，因此无法从PL训练集正确导出构建分解的二元分类器所需的训练示例。 

3.2使用ECOC进行部分标签学习

作为一种成熟的多类分类器归纳机制，ECOC基于编码-解码过程进行二进制分解。在编码阶段，一个q*L的编码矩阵M，使用二进制元素来促进学习过程。这里编码矩阵M的每一行对应于类别标签yj的L个码，编码矩阵M的每一列指定标签空间y，y包括。一个二元分类器hl：x——R被构建通过处理每列训练样本y的值，是正示例还是负示例。

在解码阶段，给定看不见的实例x，通过链接L个二进制分类器的（有符号）输出，生成n个L位码字，然后，返回其码字最接近h的类标签作为x上的最终预测。

 

 这里距离函数dist可以以各种方式实例化，如汉明距离，欧几里得距离，基于损失的距离等。

在这篇文章中，我们证明了ECOC技术可以自然地是英语处理部分标签数据。在编码阶段，关键的适应性在于如何构建二进制分类器w.r.t.每列编码。具体来说，让指定将标签空间分为正半y和负半y

 给定任何PL训练示例（xi,Si）,而不是试图消除候选标签集Si和xi。PL-ECOC的工作，以Si作为一个整体，以帮助建立二进制分类器。在这种情况下，可以从原始PL训练集D中导出二进制训练集Bv ，其中xi仅在Si完全落入y+或y-是用作正或负示例。

•  图2给出了 PL-ECOC 编码阶段的一个说明性示例。以第一个PL训练样本 ( x 1 , S 1 ) , S 1 = { y 1 , y 3 } (x_1,S_1),S_1=\{y_1,y_3\}(x1​,S1​),S1​={y1​,y3​} 为例，由于 S 1 S_1S1​ 完全落入第三列编码的负类，x 1 x_1x1​ 被用作第三个分类器 h 3 h_3h3​ 训练的负训练样本 ；由于 S 1 S_1S1​ 完全落入第五列编码的正类，x 1 x_1x1​ 被用作第五个分类器 h 5 h_5h5​ 训练的正训练样本。因此，如图2所示，关于每一个列编码的二分类训练数据自然遵循相应的编码矩阵和PL训练集。

 后续见链接：论文翻译 —— Disambiguation-Free Partial Label Learning 非消歧偏标记学习（PL-ECOC）_wxc971231的博客-CSDN博客