1、Binary Relevance Learning multi-label scene classication

本系列是基于我看过的论文总结的，如果对多标签学习不是很了解的话，可以看下张敏灵教授和周志华教授合写的关于多标记学习的A Review on Multi-Label Learning Algorithms，这篇论文很清楚地介绍了多标记相关的研究。

论文相关内容

本文中解决多标记问题的方法：

考虑基类是可能重叠的而且可以是互斥的。让X为被分类的样本空间，Y为标记集。现在设B是一组二进制向量，每个向量的长度都是|Y |。每个向量b∈B表示Y中的基类的成员关系(+1 = member; -1 =non-member). H是用于X->B的一组分类器.我们的目标是找到分类器h∈H来最小化一个距离（例如，hamming distance在信息论中，两个等长字符串之间的汉明距离（英语：Hamming distance）是两个字符串对应位置的不同字符的个数。），这个距离是h(x) and bx之间的对于一个新观察到的样本x。

用多标签数据训练的四种模型

在本节中，我们将描述使用多标签数据进行训练和测试的可能方法。考虑两个类，分别用’ + ‘和’ x ‘表示。同时属于“+”类和“x”类的样例表示为‘’。
1、在我们的样例中，“”数据的一部分将被标记为’ + ‘， 一部分将被标记为’ x '(例如，取决于哪个类最占主导地位)。我们称这种模型为model -s(s代表“单标签”类)。
2、另一种可能的方法就是在训练分类器时简单地忽略多标签数据。在我们的样例中，所有的“”数据都将被丢弃。我们将这种方法训练的模型称为模型-i（i代表忽视）。
3、 要实现对每个类中的数据进行正确分类的目标，一种简单的方法是将具有多个标签的项视为一个新类(“”类)，并为其构建一个模型。我们将这种方法训练的模型称为模型-n (n代表“新”类)。
4、在我们的样例中，在训练“+”模型时，我们认为“”数据属于“+”类，而在训练“x”模型时，我们认为它属于“x”类。我们强调‘’数据不是‘+’类或‘x’类的负例。我们称之为“交叉训练”。我们将使用这种方法获得的模型称为模型-x(x代表“交叉训练”)。

标记测试集上的三种准则

1、P-Criterion:标记输入测试数据通过所有的对应正的SVM分数的类（在“P-Criterion”,P代表正）。如果没有得分为正，则将该数据示例标记为“未知”
2、 T-Criterion: 这与p准则类似，但在如何处理全负评分情况时有所区别。在这里，我们使用封闭世界假设(CWA)，即所有的例子都至少属于N类中的一个。如果所有的N个支持向量机分数为负，输入对应于产生最高分(最小负值)的支持向量机的标签。(T表示最大。)
3、C-Criterion: 不管支持向量机的分数是正还是负，最终的结果取决于与最高支持向量机分数的接近程度。(C表示接近。) 在一个样例的所有SVM分数中，如果第M个足够接近，那么相应的类被认为是这个样例的标签。我们使用最大后验(MAP)原则来确定阈值来判断支持向量机分数是否足够接近。（注意这独立于以上给出的 SVM 分数的概率解释。）

两种新颖的综合评价方法

1、阿尔法-Evaluation
Suppose Yx is the set of ground truth labels for test data x, and Px is the set of prediction labels from classifier h.Furthermore, let Mx=Yx−Px (missed labels) and Fx=Px−Yx(false positive labels). In -evaluation, each prediction is scored by the following formula:

设置贝塔=伽马=1得到更简单的公式：

我们把阿尔法叫作原谅率因为它反射出在多大程度上可以原谅预测标签的错误。阿尔法取值小更激进(倾向于原谅错误),和取值大是保守的(更严厉惩罚错误)。基于此的3个性能度量标准

2、基类评估

基于此的3个性能度量标准。

总结

1、相关背景：在文本分类、场景分类等分类问题中对多标记分类的需求
2、问题：经典的模式识别方法不能很好地应用于多标记分类
3、现有的解决方法：大部分是基于特定领域的而且效果也不是很理想
4、作者的核心思想、创新点：作者提出的被后来学者叫作BR算法的基本思想是将多标记学习问题转化为 q 个独立的二类分类问题，其中每个二类分类问题对应于标记空间 中的一个类别标记，作者还提出了新的训练模型：交叉训练；新的标记准则：P、T、C准则；两个度量模型的方法：基于阿尔法评估（多）和基类（单）的。
5、通过什么样的实验进行验证：在3大模型、4大标记准则（后来又提出了2个简单的）、2大评估方法下通过SVMFU软件使用SVM进行图片的场景分类的对比实验。
6、对我的启发：横看成岭侧成峰 远近高低各不同。遇到问题时如果从一个角度不能解决的话，应当尝试不同的角度去看待问题。