序
大家好,好久没有更新因果技术的文章了,从今天开始,我会开启一个新的专栏,和大家聊聊因果推断,一方面是给自己做一个技术沉淀,另一方面也是希望可以制造一个场,让对因果有兴趣的朋友们一起来讨论技术。
前一篇因果入门的文章中已经为大家简单的介绍了一下因果推断了。大家反响很热烈,收到一致好评。忘记的同学可以回顾一下:
入门:因果推断 简介
https://blog.csdn.net/jiey0407/article/details/126599496?spm=1001.2014.3001.5502
文章看完记得小手点个赞,纯原创纯手打,大家一键三连支持一下!
这个系列出现的所有paper里的算法我都希望能向大家用大白话的方式讲出来,使得一个就算不太了解技术的人也能理解他。
“因果推断”作为目前统计以及机器学习届最炙手可热的一个名词,19年图灵奖得主Yoshua Bengio认为:“深度学习已经走到了瓶颈期,将因果关系整合到AI当中已经成为目前的头等大事“。而11年的图灵奖得主的Judea Pearl则提到:“目前有太多深度学习项目都单纯关注缺少因果关系的粗糙关联性,这常常导致深度学习系统在真实条件下(明显不同于训练场景的条件下)进行测试时,往往拿不出良好的实际表现。”并在他的新书《The Book of Why: The New Science of Cause and Effect》当中提到,“如果没有对因果关系的推理能力,AI的发展将从根本上受到限制。”
接下来的系列,我会通过对重要的paper和方法总结,逐步的为大家介绍因果推断这个方法,同时也不断开发自己的开源代码库Causal ToolBox。
在接下来的这篇文章中,为求表达精确,我主要会使用英文对论文进行总结和讲解,与此同时,对于一些核心的理解,也会用中文表达。
需要注明的是,传统因果很多方法都是通过做实验,即controlled experiment来得到结果,但是这种实验成本往往巨大,即便在体量相当大的公司,做一些商业上的ABtest也意味巨大的成本,在这个情况下,我们希望从以及观察到的数据,即observational data中得到因果推断的结果。接下来的所有内容,都围绕着如何在observational data里做因果推断这个问题。
什么是causality(因果)
Formal Definition: Causality is a generic relationship between an effect and the cause that gives rise to it.
这个大家直译就好,就是和大家平常理解的因果关系一个意思
causality和statistical association的区别(因果性和相关性区别)
举个例子:如果我们发现,夏天的时候,一个冰淇淋店的电费上涨的同时冰淇淋卖的也很好,我们可以说他们互相之间有因果的关系吗?不见得,他们之间可能只是统计上的相关性,而真正给他们带来的因果性的因子叫做气温,是因为气温的上升,导致电费的增加,也是因为气温的上升,导致了冰淇淋销量的上升。这个例子很好的向我们阐述了因果性和统计相关性的区别。
-
Two main questions
- Causal discovery(因果关系挖掘): 比如研究:温度升高是否是电费增加的原因?或者在商品价格,商品转化率,商品上市时间,商品成本等几个变量之间探究一个因果图,即变量两两之间是否有因果关系?如果有,谁是因谁是果?
- Causal effect(因果效应推理): 比如我们已经知道温度升高是电费增加的原因,我们想知道温度从20度升至30度,会对电费带来多少增加?
-
Two main frameworks
Structural Causal Models(SCM) – Judea Pearl: A causal model by SCMs consists of two components: the causal graph (causal diagram) and the structural equations.
即我们需要先得到一张因果图,然后对于因果图,我们去使用Structural Equations来描述它。
比如对于这一张因果图,箭头由因指向果,X和E都是变量。然后右边的一系列方程就是Structural Equations来描述这个图,每一个方程f都表示着由因到果的一个映射或者说一个表达式,这个方程可以是linear也可以是nonlinear的,取决于他们的因果关系是否线性。
Potential Outcome Framework– Donald Rubin: It is mainly applied to learning causal effect as it corresponds to a given treatment-outcome pair (D,Y). <