ML-knn:基于K近邻的多标签数据表示方法（毕设论文学习二）

学习如何计算评价指标

参考文章一
参考文章二
以参考文章一中的下图表格为例

HL的计算

海明损失——用来评估一个样本被错分多少次，例如，一个样本不属于标签A但是被错分成标签A，或者是，一个样本属于标签A，但是没有被预测为标签A。

m–样本个数
M –所有标签总个数
Y i –样本i实际标签的集合
Z i–样本i预测标签的集合
Δ–两个集合的对称差，异或
由公式取绝对值有，该计算不讨论正负，只讨论次数

1. 样本一预测集和实际标签集相同，因此分子为0
2. 样本二
首先，预测集和实际标签集中都有2，则2属于正确分类
其次，预测集中有3，实际标签集中没有3，则3是不属于标签A但被错分为标签A的情况，这是样本二中的一次错误划分
最后，预测集中没有1，而实际标签集中有1，则1是属于标签A但没有被预测为标签A的情况，这是样本二中的第二次错误划分
因此，样本二中共两次划分错误，分子为2
3. 样本三预测集和实际标签集相同，因此分子为0
4.样本四预测集和实际标签集中都有2，3，则2,3都属于正确分类
而实际标签集中的1，预测集中没有，1是属于标签A但没有被预测为标签A的情况，因此分子为1

ACC_exam的计算

Accuracy_exam——准确度的计算，准确率是我们最常见的评价指标，计算方法为用被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好。
Acc = (TP + TN)/(P+N) = (TP + TN)/(TP + FN + FP + TN)

1. 样本一中被分对的样本数为3/3
2. 样本二中共出现三个样本，被分对的样本数为1/3
3. 样本三中被分对的样本数为1/1
4. 样本四种共出现三个样本，被分对的样本数为2/3

共四个样本，所以，ACC_exam的计算式子为（3/3+1/3+1/1+2/3）/4=3/4

P_exam的计算

精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)也就是
P = TP/(TP + FP)

分母为正类预测和父类预测的和，即预测集全集

1. 样本一中三个样本都是正类预测，分子为3
2. 样本二中有一个正类预测，分子为1
3. 样本三中有一个正类预测，分子为1
4. 样本四中有两个正类预测，分子为2.

共四个样本，所以，P_exam的计算式子为（3/3+1/2+1/1+2/2）/4=7/8

R_exam的计算

召回率针对我们原来的样本而言，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。
R = TP/(TP + FN)

由P和R的计算公式可知，分子都为TP，分子情况相同，分母不同
R的分母是样本的个数，因此
样本一的分母为3
样本二的分母为2
样本三的分母为1
样本四的分母为3

F_exam的计算

显然，TP越高时预测得越准确，而由P和R的计算公式可知，随着TP的增大，P和R也会增大；因此，我们当然希望检索的结果P越高越好，R也越高越好，但事实上这两者在某些情况下是矛盾的。比如极端情况下，我们只搜出了一个结果，且是准确的，那么P就是100%，但是R就很低；而如果我们把所有结果都返回，那么必然R是100%，但是P很低。

这就是说准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低，召回率低、准确率高，当然如果两者都低，那是什么地方出问题了。

在P和R都要求高的情况下，最常见的方法就是F-Measure（又称为F-Score）。
F-Measure是Precision和Recall加权调和平均：

当参数α=1时，就是最常见的F1，也即

由计算式子可知，这里选择了α=1进行计算

subsetacc的计算

测量的是完全正确的标签的比例

共四个样本，样本一和三完全正确
2/4=1/2