【Uplift】评估方法篇

https://zhuanlan.zhihu.com/p/363082639

和标准的预测方法不同，由于”反事实“的存在，并没有真实的uplift标签，因此uplift模型无法在样本维度上进行评估。但如果有随机试验采集的数据，则可以用平均水平来评估uplift模型的效果。

本文将分为线上评估和离线评估两部分介绍，其中线上评估主要是AB策略；离线评估是AUUC、Qini等。

线上评估方法

最好的验证模型或策略效果的方法就是做线上的AB实验。在设计AB实验对比时，要小心处理目标的数据范围，在什么节点进行分流。

如果我们想知道的是全局的策略效果，则要在一开始就分流；而如果想知道策略生效部分的效果，则要在策略判定之后，对判定生效的部分进行分流，其中A桶原样返回，B桶生效返回。

下面是腾讯广告做uplift分析的流程图示例，通过线上AB试验的方式给出增量效果。

离线评估方法

线上评估虽然准确，但我们也需要具备离线评估的能力，避免浪费线上流量。与线上评估看整体的增量不同，离线评估需要能支持模型的效果对比。

离线评估方法有很多种，都需要对数据做分组(或累积)。将所有样本按照模型给出的uplift得分降序排列，按照等比分为K组(bins)，后续的效果评估则通过对比相应组内Treatment组和Control组的得分差异实现。

Uplift decile charts

用第k组内Treatment和Control样本的$\bar{y}$之差表示，如下图表示按照uplift得分降序排列后，前50%的样本Treatment是正效果的，而后50%是负效果。

该方法虽然直观，但很难用于进行模型间的对比，如难以说明下面两个模型的优劣。

Cumulative uplift/gain

Cumulative uplift：通过计算topK组内Treatment和Control组的$\bar{y}$差值，可以表达在topK组得分的数据内，增量效果如何。如左图。

Cumulative gain：一些场景中，我们需要的不只是按照”uplift“选中部分的效果，而需要的是根据”uplift“来决策是Treat还是Control之后，能够带来的增量绝对量有多少。如右图，此时选择最高点即为最佳效果，再往后的实际是Control组优于Treatment组的部分。

公式如下，$Y$表示分组正例数量，$N$表示分组总量，${\cdot }^T$表示Treatment组，${\cdot }^C$表示Control组。
$$\left(\frac{Y^T}{N^T}-\frac{Y^C}{N^C}\right)\left(N^T+N^C\right)$$

Uplift Curve & AUUC

上述方法还缺乏有效的度量手段，我们将数据集分组不断细分，精确到每个样本维度时，每次计算截止前t个样本的增量时，则得到Uplift Curve。公式如下
$$f(t)=\left(\frac{Y_t^T}{N_t^T}-\frac{Y_t^C}{N_t^C}\right)\left(N_t^T+N_t^C\right)$$
可视化如下，其中x轴为样本位序，y轴为累积增量数量。上方的每条曲线表示按照uplift score降序排列后，累积的增量效果；random直线表示随机排序(随机选择样本执行Treatment时)的增量效果；每条曲线终点相交，表示全量Treatment时的平均增量效果。

曲线中，越高拱的模型效果越好，数值化表示的话可以使用曲线下面积，与二分类评估中的AUC(Area Under ROC Curve)类似。这里称为AUUC(Area Under Uplift Curve)，即${\sum }_t^{N}f(t)$。

Qini Curve & Qini Coefficient

上述Uplift Curve存在一个问题，当Treatment组和Control组样本不一致时，其表达的增量存在偏差。因此对上式做一个缩放修改，相当于以Treatment组的样本量为准，对Control组做一个缩放，累积绘制的曲线称为Qini 曲线。
$$g(t)=Y_t^T-\frac{Y_t^C{N}_t^T}{N_t^C}$$
此时有$f(t)=g(t)\frac{N_t^T+N_t^C}{N_t^T}$。

另外，取Qini曲线先面积为Qini系数。

补充，AUUC和Qini的另一种口径

前述的AUUC和Qini系数取自综述论文，CausalML的复现是基于这种的。在另一篇更新的论文中，明确提到了AUUC和Qini系数的计算公式，更复杂，似乎更合理，可以参考选用。其中的”uplift“部分当k取N时，实际上与前述的相同。

AUUC：

下图展示了一个Uplift曲线(这里目测除以总量了)

则AUUC定义为Uplift曲线和Baseline的曲线下面积差。第一项表示uplift曲线下面积，用累积求和表示；第二项表示baseline曲线下面积，用三角形面积公式表示。

其中$AUU{C}_{\pi }(k)$表示前k个样本计算得到的AUUC原子，$AUL$表示Area Under Lift，$R_{\pi }(k)={\sum }_{d_i\in \pi (k)}1\left[y_i=1\right]$表示前k个样本中的正例数， R ˉ ( k ) = k ⋅ E [ Y ∣ T ∈ { 1 , 0 } ] \bar{R}(k)=k\cdot \mathbb{E}[Y|T\in\{1,0\}] Rˉ(k)=k⋅E[Y∣T∈{1,0}]表示前k个样本中的平均正例数。

取AUUC值为各个原子的均值，如下：

Qini coefficient：

Qini系数是Gini系数的一般化形式，与AUUC计算类似。首先由Qini曲线如下图，其中x轴表示数量，y轴表示增量数量。Qini原子的公式如下

公式的第一部分同上述的Qini曲线，是对以Treatment为标准做了缩放。第二部分用三角形面积公式计算，表示随机排序的结果。另外，如下图所示，best model表示理想情况下的曲线形式，从0开始，首先是45°提升(表示T组选中正例，而C组均是反例)，接着是水平线(表示T组C组都是反例)，最后45°下降(表示T组选中反例，而C组均是正例)。

此时，Qini系数如下，其中${\pi }^{\ast }$表示最优的排序。

另外，本文介绍了Qini系数相对AUUC的好处：①Qini系数做了T组和C组的样本缩放，解决AUUC在T组比C组多很多时不适用的问题；②Qini系数是归一化后的，这样它就可以在不同的数据集间做一个对比。

参考文献

[1]Causal Inference and Uplift Modeling A review of the literature

[2]A Large Scale Benchmark for Uplift Modeling

[3]更多参考：https://zhuanlan.zhihu.com/p/358582762