2014ICLR-Weighted Approximate Ranking (WARP)

Deep Convolutional Ranking for Multilabel Image Annotation

2014 ICLR Google

多标签几种损失

成对排序损失

它直接对标注问题建模。特别是，我们希望将正面标签排在总是比负面标签更高的个刻度，这导致了以下最小化问题
$$J=\sum _{i=1}^n\sum _{j=1}^{c_{+}}\sum _{k=1}^{c_{-}}\max \left(0,1-f_j\left({\mathbf{x}}_i\right)+f_k\left({\mathbf{x}}_i\right)\right)$$

其中c +是正标签，c-是负标签。在反向传播期间，我们计算了该损失函数的子梯度。
这种损失的一个限制是它优化了ROC曲线下面积（AUC），但没有直接优化top-k标注精度。
因为对于图像标注问题我们最感兴趣的是top-k标注，这种成对排名损失并不符合我们的目的。

加权近似排名（WARP）

这一损失是加权近似排名（WARP）是对上述损失函数的拓展，这在（2011 IJCAI-Wsabie: Scaling up to large vocabularyimage annotation）中首次描述。它通过使用随机抽样方法专门优化注释的top-k精度。这种方法非常适合深层体系结构的随机优化框架。它最小化
$$J=\sum _{i=1}^n\sum _{j=1}^{c_{+}}\sum _{k=1}^{c_{-}}L\left(r_j\right)\max \left(0,1-f_j\left({\mathbf{x}}_i\right)+f_k\left({\mathbf{x}}_i\right)\right)$$

其中$L（\cdot ）$是不同等级的加权函数，$r_j$是衡量某一个正标签预测值的惩罚程度。我们工作中使用的加权函数$L（\cdot ）$定义为：
$$L(r)=\sum _{j=1}^r\frac{1}{j}$$

如果正面标签在标签列表中排名靠前，那么$L（\cdot ）$将为损失分配一个小权重，并且不会花费太多损失。但是，如果正面标签没有排在最前面，$L（\cdot ）$将为损失分配更大的权重，从而将正面标签推到顶部。
最后一个问题是如何估计等级$r_j$。

求出$r_j$，

1. 对于每一个正标签$j$的预测值$f_j(x_i)$，从负标签预测值集合$f_k,k\in c_{-}$，进行随机采样一个$f_k$
2. 一旦$f_k$满足$1-f_j\left(x_i\right)+f_k\left(x_i\right)>0$, 记录采样次数$N$，则$r_j=\lfloor \frac{C-1}{N}\rfloor$, $c$为标签空间的维度
3. 如果采样了$C-1$次都没有满足上式，则$L\left(r_j\right)$ = 0，即不计算误差