WAP（@R）指标

Notes

检索中常用几种评价指标：

• mAP(@R)
• Precision-Recall Curve
• Precision@top-R Curve
• NDCG(@R)
• ACG(@R)
• WAP(@R)

WAP（Weighted mean Average Precision）在 [2] 提出，是 mAP 的扩展，支持多值相似度（multi-level similarity），基于 ACG。对于一个长为 n 的检索序列 V，有：$$WAP(q,V)=\frac{1}{{\sum }_{p=1}^{n}s(q,V_p)}\sum _{i=1}^{n}ACG@i(q,V)\cdot 1(s(q,V_i)>0)$$ 其中 $$s(x,y)=\{\begin{array}{ll}1,& x与y相似\\ 0,& x与y不相似\end{array}$$ 即传统 mAP 中用的二值相似度（binary similarity）。算 WAP@k 时，分母可能有两种取法：

• 前 k 个样本中相似样本数
• 所有样本中相似样本数

见 [3] 中 About the Denominator 一节。此处暂时（2020.10.30）采用与 [3] 一样的策略，即只算前 k 个，则 $$WAP@k(q,V)=\frac{1}{{\sum }_{p=1}^{k}s(q,V_p)}\sum _{i=1}^{k}ACG@i(q,V)\cdot 1(s(q,V_i)>0)$$

Code

# import numpy as np

def WAP(Dist, Rel, k=-1):
    """Weighted mean Average Precision"""
    n, m = Dist.shape
    if (k < 0) or (k > m):
        k = m
    Gain = Rel
    S = (Gain > 0).astype(np.int)
    pos = np.arange(k) + 1
    Rank = np.argsort(Dist)

    _WAP = 0.0
    for s, g, rnk in zip(S, Gain, Rank):
        # n_rel = s.sum()  # 算所有 m 个
        _rnk = rnk[:k]
        s, g = s[_rnk], g[_rnk]
        n_rel = s.sum()  # 只算前 k 个
        if n_rel > 0:
            acg = np.cumsum(g) / pos
            _WAP += (acg * s).sum() / n_rel

    return _WAP / n

References

1. ACG（@R）指标
2. Deep Semantic Ranking Based Hashing for Multi-Label Image Retrieval
3. mAP（@R）计算代码