【论文推荐】了解《因果科学》必看的6篇论文（附打包下载地址）

论文推荐

“SFFAI138期来自加州大学圣塔芭芭拉分校的王心怡推荐的文章主要关注于基础研究的因果科学领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI138"获取本主题精选论文

01

Invariantrisk minimization.

推荐理由：这篇可能是利用causal invariance来改善ERM会学到spurious correlation的问题这一条线中最出名的paper了。虽然这篇paper在理论和实践中都被一些paper指出有诸多问题，但是确实由此开创了一系列与causal invariance相关的工作。大家感兴趣可以去找一下这篇paper的citation了解一波。

02

Estimatingindividual treatment effect: generalization bounds and algorithms. 

推荐理由：这篇paper解决的是individual treatment effect estimate (ITE) 中selective bias的问题，很大程度上启发了我们这篇paper。这篇paper里的关键证明的变体都在我们的paper里有所体现，可以利用这篇paper了解一下ITE这个经典的causal inference的问题。

03

Learningthe difference that makes a difference with counterfactually augmented data.

推荐理由：这篇paper提出了一种人工改写一个句子，达到以最小的改动改变这个句子的label的效果。作者认为这样我们就可以得到原来句子的counterfactual example。这种改变causal factor得到counterfactual的思路恰好和IRM改变非causal factor让causal factor保持不变的思路相反。

04

Explainingthe efficacy of counterfactually augmented data. 

推荐理由：这篇paper是前一篇paper的follow-up，对之前的data augmentation方法提出了一些理论解释。

05

OnCalibration and Out-of-domain Generalization.

推荐理由：这篇paper是从causal invariance的角度来看out-of-domain generalization，并且巧妙的将causal invariance和muti-domain calibration联系到了一起。这是一篇比较新的没有focus在representation learning上的从causal invariance角度思考问题的paper。

06

Desideratafor Representation Learning: A Causal Perspective.

推荐理由：这篇比较新的长paper是讲如何系统性的evaluate和学习causal representation。这篇paper认为data自身内部存在一些confounder，比如一张图片的不同pixel之间的confounding。作者提出了很多很high level的想法和定义，可以启发许多思考。

分享内容

分享简介

尽管深度学习模型在大量任务中拥有极佳的性能，但它容易学习到虚假相关性。为了缓解这个问题，本期讲者王心怡同学提出了一个基于因果关系的训练框架，以减少由观察到的混杂因素而引起的虚假相关性。

讲者介绍

王心怡，加州大学圣塔芭芭拉分校博士生，主要研究方向为机器学习和自然语言处理，使用因果推理工具分析解决机器学习中的问题。

分享题目

利用反事实最大似然估计训练深度学习网络

分享摘要

We propose a causality-based training framework to reduce the spurious correlations caused by observed confounders. We give theoretical analysis on the underlying general Structural Causal Model (SCM) and propose to perform Maximum Likelihood Estimation (MLE) on the interventional distribution instead of the observational distribution, namely Counterfactual Maximum Likelihood Estimation (CMLE). As the interventional distribution, in general, is hidden from the observational data, we then derive two different upper bounds of the expected negative log-likelihood and propose two general algorithms, Implicit CMLE and Explicit CMLE, for causal predictions of deep learning models using observational data. We conduct experiments on both simulated data and two real-world tasks: Natural Language Inference (NLI) and Image Captioning. The results show that CMLE methods outperform the regular MLE method in terms of out-of-domain generalization performance and reducing spurious correlations, while maintaining comparable performance on the regular evaluations.

题目：Counterfactual Maximum Likelihood Estimation for Training Deep Networks

论文下载：关注本公众号，对话框回复“SFFAI138”，获取下载

分享亮点

1. We formalize the spurious correlation problem as a confounding problem using a structural causal model.

2. We propose a new general training scheme to reduce the unwanted effect of observed confounders with provable bounds.

3. The proposed method is evaluated on both simulated data and real-world tasks and is shown to be superior to the regular ERM training scheme in terms of out-of-domain generalization performance and reducing spurious correlations, while maintaining comparable performance on the regular evaluations.

直播时间

2022年2月27日（周日）21:00—22:00 线上直播

关注本公众号，对话框回复“SFFAI138”，获取入群二维码

注：直播地址会分享在交流群内

SFFAI招募！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。

论文推荐

• 《视觉问答》论文推荐
  

• 《通信强化学习》论文推荐
  

• 《视频预测》论文推荐
  

• 《关系抽取专题》论文推荐
  

• 《对抗机器学习》论文推荐
  

• 《目标跟踪》论文推荐
  

• 《代码生成》论文推荐
  

• 《预训练模型》论文推荐
  

• 《机器翻译专题》论文推荐
  

• 《脚本事件预测专题》论文推荐
  

• 《多模态处理》论文推荐
  

• 《点云补全》论文推荐
  

• 《图像生成》论文推荐
  

• 《机器翻译》论文推荐
  

• 《点云补全》论文推荐

更多论文推荐历史文章

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！