因果起源史

         起源于休谟首次提出了因果中的必要因（若非因[but for]）,即“假如没有前者，后者就不存在”，为后来因果推理提供强大工具（反事实推理）。

        计量经济家格兰杰基于概率形式给出因果检测公式，论证事件发生是否存在先后显著性。但是只能判断发生事件在时间先后上是否有统计显著性，无法判断因果，比如A股指数暴跌总是慢零点几秒于美股指数，那极有可能是网速问题，真正导致暴跌的原因是某个事件。2012年science一文提出收敛交叉映射算法改进格兰杰因果方法（针对之前休谟理论，提出了新休谟式的框架，【如果x是y的因，那么x出现是y出现的充分条件】），找到最可能的因果作用（x推出y程度越高，因果关系越强），且能辨别因果方向（互为因果、单向因果，共同原因），对存在伪相关性（长期相关但突然不相关的现象）的复杂系统中的因果发现有极大的推动。

       2011图灵奖得主Judea Pearl，研究中发现统计相关性并不能取代因果性(Yule-Simpson Paradox【x与y边缘正相关，在某个变量z的每一水平上负相关】)，无法处理具有共同混杂因子的变量关系，统计数据常因果颠倒（无方向性），造就伪相关，对数据要求也很高(iid)，泛化性，鲁棒性都很差。他改进的贝叶斯网络和SCM在统计因果推断领域作用巨大，且认为强人工智能必须要进行因果革命。且Schölkopf和Bengio在研究过程中也发现了因果是必然之路。

因果效应估计框架（观测数据下）

• D.B Rubin的Rubin Causal Model (RCM)
  • 基于Potential Outcome Framework，更简单直观，统计和社科用的多。它设想与观测相悖情况，是一种反事实因果，被称为Experimental causality（但一般回答干预层题）。因果分析步骤主要有 1. 定义问题构建粗粒化因果图 2. Do-Calculus（干预）基于概率计算效应
• 基于Judea Pearl的结构因果模型(SCM)
  • Pearl提出小图灵测试是实现真正智能的必要条件（机器如何迅速访问必要信息、正确回答问题，输出因果知识）。并提出因果推理引擎，以假设（图模型）、数据和Query输入，输出Estimand（基于do-calculus判断query是否可识别）、Estimate（概率估计）和Fit Indices（评估）。
  • 其中do-calculus是判断因果问题是否可解的前提，原理就是贝叶斯网络中D-seperation（图分离与概率独立等价条件，参考PRML）
  • 一般回答反事实问题需要SCM模型，由图模型（表示因果知识）、反事实和干预逻辑（形式化问题）和结构方程组成。                                                                                    一般步骤为 1. abduction（基于现有事实分布【先验】p(u|e)更新图概率p(u)） 2. action（基于结构方程更新x） 3. prediction（预测反事实）

统计估计的主要困难是数据缺失，如何去除数据产生的偏差（Debias）是核心主题。Pearl提出解决混杂偏差、选择偏差和迁移学习方法（数据本身特点导致）。

反事实基本定律  将SCM和RCM联系起来，左边是反事实，M_x是干预后的模型。SCM中使用函数关系描述因果关系，避免了条件概率表示因果关系时认知论上的困难。

因果推断在互联网界应用主要是基于Uplift model来预测额外收益提升ROI。主要应用营销类业务，举个例子比如商家决定给用户发优惠券促进销售。

基于这个问题很自然可以把是否给方案和是否买单组合为4类。即给券买单、不给券买单、给券不买单（sleeping dog）、不给券不买单。

来源 https://tech.wayfair.com/data-science/2018/10/pylift-a-fast-python-package-for-uplift-modeling/

所以，我们营销时更多的是想给那些发券买单的且不发券不买单的人来发券，才能最大化实现我们的营销目标。所以这里的应用目标是找出这部分人，降低成本/提高ROI。

基于业务的目标我们可以发现，这里从哲学角度来看主要是一个type Causality类型的干预主义的预测问题，而非是一个反事实推理问题。所以从分析框架上，我们很自然选择的是rubin的RCM在干预层面的分析工具，所以uplift model是一个干预模型，且为RCM框架。

• uplift简介

uplift modelling目标是精确学习给定一个干预（发券）后，对结果（是否购买概率）增量。即它要建模出增量效应（发券对比不发券对结果的影响）。直白一点，用经济学语言就是，学习出边际效用，且好的模型能最大化边际效用。

uplift定义为： 

 ，T为是否发券，O=1为买单，x为属性

干预问题和ML的相关问题最直接的区别就是，ML监督模型都是由label的，而因果干预问题是缺失label的（对于每一个人他只有发券或者不发券的结果【另一个是反事实的】），但是我们建模目标是干预（do操作），而非简单的相关（转化率）。我们希望模型能找到最多的可以被干预转化（发券购买）的用户（我们希望看到用户行为的变化）。这就类似强化学习RL中最大化reward，uplift model要最大化uplift（找到最有可能受到券激励消费的用户），RL中核心操作是决策action获得的额外reward。这里action对应do算子，reward对应uplift，所以uplift model和RL天然如出一辙。RL中学习过程通过E&E(explore & exploitation)来探索利用action，那uplift model最好也需要EE，即随机试验，因为互联网产品都可以做ABtest，do可以作为ABtest分组，进而进行统计计算。（传统医学因为随机试验可能存在伦理问题，比如分析吸烟是否导致肺癌，很难去随机强迫人吸烟，导致难度增加）

举个例子传统的转化率模型P(y=1|x)，是没有考虑我们这个发券（do）行为的，与目标有出入。

最后简单说一下我们计算框架RCM。u(x)定义为一个人的uplift，实际上也说过，由于每个个体要么给他发券，要么不给他发券的反事实性存在，所以个体的因果作用是不可识别的（同一观测是否得到唯一结果）。对于个体而言，uplift是确定的！我们通常识别总体（子群体）的因果作用，这里随机性体现在个体i上，一般用平均因果作用ACE(Average Causal Effect)表达。 

可以看到最后一个等式我们就可以利用数据进行统计估计，第二个等号核心假设为  ，所以随机化实验对于ACE计算起着至关重要的地位！

从子人群（类似根据特征X聚类）角度分析ACE，接受发券可能与个人属性X相关，破坏上面假设，一般使用CIA假设(conditional independent assumption):  ，简单说就是在X每个取值下，希望发券与不发券随机一点。至此就可以设计ABtest实验了。

 

 

 

1. 人工智能的条件问题（qualifcation problem）：