用因果推断解决的四类分析难题

一、背景

目前我们能看到因果推断相关的资料更多的聚焦在逻辑方法本身，公式非常繁杂导致较难理解与应用。有的时候虽然看似理解了一些，但是真正应用的时候还是不太清楚什么场景应该选择什么方法。

基于此种背景，笔者梳理一些目前业界的通用业务问题场景，按照不同分析场景类型分为四大类，分别对应不同的适用因果推断解决方法，并辅以通俗易懂的语言去解释其原理与案例。当遇到某类问题的时候，我们能快速明确的知道用什么方法可解此类问题。

二、四类分析场景与对应解决方法概览

三、分析场景与适用方法

场景一：非实验场景策略效果评估

策略、功能以及活动的效果评估，几乎是每个产品、运营、分析师日常工作的一大重点。大到重要功能上线，小到一个文案修改，都可以去衡量这个策略的效果，比之前提升了多少，对整体数据贡献了多少。不仅衡量了工作产出，也为之后的优化方向提供沉淀与依据。AB实验是回答这个问题的最优解，但是当无法做实验时，研究如何利用历史数据进行因果分析评估也变的非常重要。

非实验场景的策略评估方式的核心思想就是：人为创造一个虚拟对照组与策略上线数据做比较估计策略真实效果。

效果回归本质上属于统计学中的因果推断问题。在统计科学中，因果推断要解决的问题本质是剥离我们所不关心的外部变量对结果的影响，从而精准估计到我们所关心的策略因素对结果的单一影响。在不能做AB实验的场景下，通常有两种完成这件事情的思路：

• 构造相似群体（Matching）：这种思路假设在未被实验策略影响的样本中存在一些样本和被实验策略影响的样本存在同质性。只要我们想办法找到这些相似的样本作为虚拟对照组，就可以控制外生因素。这种思想最经典的方法是PSM(倾向得分匹配法)；

• 构造虚拟现实（Synthetic Control）：这种思路认为策略的影响其实是策略上了之后的指标表现和“假设策略没上”的平行时空中指标表现的diff。因此，只要通过建模方法构建出假设策略没上的虚拟时空的指标水平，即可评估实验策略收益。典型的方法包括合成控制法、Causal Impact等；

PSM

PSM的思路是对策略命中的每一个用户，都在策略未命中用户中找到和他近似的一个用户。通过这种方式，策略命中用户和近似找到的对照用户就有了可比性。PSM 作为一种 matching 方法，最大的目的就是控制实验组和控制组的观测变量。举个简单例子，我们想对比吸烟的人和不吸烟的人的健康状况，我们观察了两组人群作为样本，可能会出现以下两种情况:

• 恰好我们选取的吸烟的人群更年轻，身体本身就更健康，而不吸烟的人群整体年龄偏大，或者身体本身比较虚弱，最后观察一段时间得出吸烟无害的结论。

• 吸烟的人群也喜欢喝酒，吸烟的人群本身也不注重自己的健康等等一系列其他因素干扰，导致得出吸烟有害健康的结论。

这两种结论都是不够科学的，因此用 matching 的思路可以缓解上面的情况，而 PSM是 matching 最常用的方法。具体应用可以分为以下几个步骤：

• 计算未被策略影响的每个用户倾向性得分：这一步本质是建模问题，因变量为是否被干预Treatment，自变量为用户特征变量。做一个建模预测策略发生概率(逻辑回归/XGB/RF等)；

• 得分匹配：有了每个用户的倾向性得分，针对目前的被策略命中的用户，匹配得到一个近似相同的用户，组成对照组。

• • 修剪：筛选掉倾向性得分极值。常见的做法是保留得分在某个区间的用户，例如实验组和对照组用户得分区间的交集，只保留区间中部的 90% ，可能原始得分在0.05-0.95的用户。

  • 匹配：实验组对对照组根据得分进行匹配的时候，比较常见的有几种方法。knn: 进行 1 对 K 有放回或无放回匹配。radius: 对每个策略影响用户，匹配上所有得分差异小于指定 radius 的用户。

  • 设置得分差异上限：匹配用户的时候，要求每一对用户的得分差异不超过指定的上限min(delta(score))<caliper。

• 平衡性检验：看倾向性得分在匹配前后的分布、以及特征在匹配前后的 QQ-Plot。匹配后的实验组和对照组的倾向性得分分布更加接近，变量分布也更接近。

• 因果效应估计(策略效果)：我们的目标是推断策略组用户的平均处理效应 ATT (Average Treatment Effect on the T