因果推断-指标

计算指标

ATE

CATE

这里要说以下CATE，很多人说，这个是指特征不变,其实指的是从treat中挑出来感兴趣的人算lift，在某些条件下的人，比如只看男性。具体原因可以看下面的知乎这个文章。关键点在于你选出的人群子集，使其特异性的原因，是否是实验干预使其与整体没有区别的。

ref：

https://medium.com/grabngoinfo/ate-vs-cate-vs-att-vs-atc-for-causal-inference-998a577f2f8c

causality - Conditional treatment effect and average treatment effect under no unmeasured confounders (ignorability) - Cross Validated

聊一聊因果推断中的ATT、ITE、ATE和CATE - 知乎

1.T检验

最水，说TC组是符合同一分布的，但是方差大的话，其实TC lift的误差就很大。

2.WMAPE

不做实验情况下最严格，比如TC在投放前完全重合，那就说明在未来一段时间也应该是重合的。所以效果毋庸置疑。

3.AUUC

这个不是来衡量TC相似度的，适用于一切没有TC的归因，比如沙普利值的计算，或者是MTA模型等。【Uplift】评估方法篇 - 知乎

简单的理解就是，选出来的C组与T组区分度大，Cumulative gain，最高点之后，累积的增益下降，说明对照组高于实验组，那么就是负收益，是不需要的，所以面积越大，下落越靠后，模型收益越高。

沙普利值：https://towardsdatascience.com/making-sense-of-shapley-values-dc67a8e4c5e8

这里补充下沙普利值的公平性原则：

(1)对称公理：参与人因合作而分配得到的利益与他所赋予的记号无关。

设λ是N={1,2,3…n}的一个排列，即N中的一个 一对一映射，如λi是i的对应，对企业联盟博弈V有:(λV)S=V(λS)。

（2）有效公理：成员对于企业联盟没有做出贡献就不能获得报酬。

如果对于所有包含i的子集S都有V(S\i)=V(S),则φ1(V)=0,且φi(V)中i从1到n的和等于V(N)。

（3）加法公理：局中人同时进行两项合作时，总分配是两项的和。

对于定义在N中的任意两个特征函数U和V，则φ(U+V)=φ(U)+φ(V)。

ref:弹性模型的评测指标AUUC - 知乎

4.AB实验

属于终极绝招，不知道效果，随机分流试一下，绝对公平可信。