多标签学习论文笔记（一）

一、 Deep Convolutional Ranking for Multilabel Image Annotation
介绍了三种不同的Multilabel Ranking Losses
1. Softmax
待插图：就是将单个标签的softmax损失转换为多标签的softmax损失，等价于KL散度，就是求两个概率分布之间的相似性。
2. Pairwise Ranking
不仅考虑了正标签和负标签的绝对值大小，还考虑了正标签的概率需要大于任意负标签的概率。但这个Loss是不可导的，只能计算次梯度。
次梯度：https://blog.csdn.net/sinat_27612639/article/details/70049715
3.Weighted Approximate Ranking (WARP)
该Loss考虑了在每次迭代训练的过程中，不同的正标签之间是有差异的，有的正标签可能预测值比较高了，这个时候对loss的贡献就可降低一些，有些正标签的预测值比较小，这个时候就要强迫模型更加地去拟合这个正标签。

实验部分：
数据：NUS-WIDE
数量：总共269,648，去除没有任何标签的数据，剩209,347。总共有81个不同的标签。
每张图片标签数：平均2-5个

1. 作者提取了四种不同的Visual Features。
2. 对比实验1用了Visual feature + kNN，测试样本从训练样本中选取最近的k个样本，然后根据这k个样本的标签信息，来得到测试样本排名靠前k的标签信息。
3. 对比实验2用了Visual feature + SVM，训练了c个不同的svm分类器，每个svm分类器是一个二分类问题，最后对c个输出取排名前k的标签作为预测输出。

此外，对于N选K，K个数的确定，仍然没有解决，作者评价时，采取的是Top3和Top5的Recall和Precision。