探索可解释及稳定性，AI与博弈，自适应推理——“智源论坛：机器学习青年学者报告会”要点总结

6月10日，北京智源人工智能研究院（BAAI）继“人工智能的数理基础”后，发布“机器学习”重大研究方向，由颜水成教授担任首席科学家，拟针对当前以深度学习、强化学习等为代表的人工智能算法所存在的可解释性缺失、大数据依赖，以及模型场景化这三大问题，聚焦“User-friendly AI”, 以4U（Understandable、Usable、Universal、Ubiquitous）为目标，从四个方面展开前沿人工智能算法研究。

在此之前，“智源论坛（第3期）——机器学习青年学者报告会”已于 2019 年 5 月 17 日邀请清华大学计算机系长聘副教授崔鹏、清华大学交叉信息研究院长聘副教授唐平中、清华大学自动化系助理教授黄高三位智源青年科学家，分享其在这一领域的研究经验。此次论坛主持人为“机器学习”方向智源研究项目经理，360集团人工智能研究院技术总监程斌。

程斌（智源研究项目经理）

论坛伊始，北京智源人工智能研究院副院长刘江在开场辞中表示，深度学习起初仅仅是一个以 Geoffrey Hinton（深度学习鼻祖）为首的小型学术群体，本质上不过是一个由加拿大政府资助的相对缘化的小项目。彼时，谁都没有料到其会在今天带来这样的成就与社会影响。“智源希望通将整个圈子的学者与工程师汇聚起来，随着思想的不断碰撞，也能在人工智能领域做出一些类似的突破，这是我们的初衷”。

刘江（北京智源人工智能研究院）

1

崔鹏：关联统计基础和独立同分布假设是当前机器学习在理论方法层面受制的深层原因

清华大学计算机系长聘副教授、博士生导师崔鹏博士率先带来了《Towards Explainable and Stable Prediction》主题报告，着重分享了其与团队近来在预测的可解释性及稳定性方面的研究。

崔鹏（清华大学）

在很长一段时间内，我们都惯乎将人工智能和机器学习技术应用到各种预测性的场景，常用的像是搜索引擎、推荐系统等在今天看来都算是相当成功的案例。过去的我们也总觉得人工智能犯些错似乎也无伤大雅，无外乎少牟些利，但现如今的人工智能却已然一脚踏入诸多和人乃至人的重大风险密切相关的领域——逐渐在医疗、司法、交通、金融等领域发挥起越来越重要的作用。这就使得我们不得不开始思考：如若人工智能出了问题，究竟会带来多大的风险？一时不察，可能便是性命攸关，或是涉及整个社会公正性的重大失误。因此，是时候把目光投向 AI 技术风险思考这一过去每每被忽略的研究课题了。

但当前人工智能的一个很明显的短板，就是不知其所以然。今天的绝大部分人工智能模型，尤其是深度学习，都是黑盒子模型。给定一个输入，模型会做出一个判断或预测，但没办法告诉我们，他为什么做出这样一个判断或预测，以及我们是否应该信任他的判断。

那么这会带来什么问题呢？首先，这直接导致人工智能的输出是不可解释的。我们知道，在很多风险敏感的应用领域，比如医疗、军事、金融等，人机需要协同。而人机协同的重要前提，是人和机器可以相互理解。而今天人工智能技术的输出不可解释，这直接导致了人工智能在这些领域落地难的问题。

此外，新一波人工智能在图像识别领域也取得了非常重大的突破，特别是在数据集上，甚至有媒体称其超过了人的识别能力。当然，在控制环境下确是如此，但若是放之于真实环境下，人工智能仍然存在着非常大的问题。此处以狗的图像识别为例，假设我们给出这样一个分布的数据，来训练一个简单的狗的分类器，而我们的数据未加任何限定（并没有框定只有哪一部分是狗，或者只有这个图片是狗）：

我们看到训练数据中大部分狗都在草地上，少部分在普通地面上，那么这种情况下如果给出右侧第二张图这样的 test case，我们训练出的分类器可能就会误判；若是再把狗扔到水里面，该模型更是大概率判断不出这是一只狗的。这里的问题就在于我们给出的 test case 已经超出了其 Training Data 所覆盖的范围。通俗来讲，就是在训练数据中找不出一张图和提供的测试图长得像，这便是又一个我们现在解决不了的问题。

再从实际的 Health Care 中取例：假设我们现在要构建一个用于Cancer Survival Rate Prediction（癌症存活率）的模型，如果通过城市医院的数据来训练，就会发现病人的收入水平会在很大程度上决定其存活率。但如若我们将该模型应用到另一套数据（University Hospital）上来进行病人存活率预测，就会出现非常大的偏差，因为在 University Hospital 中，患者得到的治疗质量高低不取决于收入水平，而是取决于 Research Purpose。因此，将模型应用到分布不同的数据上时就会出现类似的问题。

那么这个问题到底出在哪里呢？事实上，我们今天的机器学习模型大多都是基于原始数据空间里一个所谓的 IID 独立同分布问题，即 Test Distribution 和前面的 Training Distribution 要从同一分布里独立采样出来，也就是说测试数据必须得和训练数据“长得”比较像，这种情况下才能保障其性能：

如上图所示，这一点会带来的一个很大的问题就是稳定性（Stability），因为当我们将训练出来的模型应用到不同场景下时，其实很难控制 Test Distribution 与 Training Distribution 的“相像”。而据我们在 ImageNet 数据集上做的统计数据显示，模型的最终 performance 在很大程度上会受到 NI 这一指标的影响（统计中定义的指标，指示其不 IID 的程度）。

既然已确认这类新问题的存在，又该如何解决？我们先来梳理一下，假设我们现在要用 Distribution 1 这个 Training Distribution 来训练一个模型（Model），如果我们的优化目标是优化其在 Distribution 1 下的准确性（Accuracy)，那这里就是 IID Learning，因为我们假设是同一个 Distribution；那么假如优化目标是优化 Distribution n 下面的 Accuracy n，也就是说一个训练下面训练的数据能不能应用到另外一个 Distribution 下面？

那么 Transfer Learning 是否能解决这个问题呢？其实解决不了，因为 Transfer Learning 的假设是 Test Data 是已知的——已知 Test Data，才能已知 Test Distribution——已知Test Distribution，才知道原来这个模型应该往哪个方向去做 shiftting。

但是这在我们的真实应用场景下，其实也满足不了实际需求，因为大多数情况下我们训练一个模型，例如训练一个模型卖给不同的客户，对于其后续的应用场景一无所知，自然也无法控制其是否和我们的训练数据属于一个 Distribution。所以我们提出是不是还存在第三类问题，这类问题就是说我们在 Distribution 1 下面训练出来的一个模型，我们的优化目标是要优化其在不同 Distribution 下的精度方差。换言之，假设将我们在一个分布下面所训练出来的模型应用到很多未知分布上去，是否能控制其 performance 在所有这些分布上相对稳定，这是一个我们希望解决的问题，也是所谓的 Stable Prediction 问题。

而上文提到的两个风险中，一个是所谓的“稳定性”问题，一个是所谓的“可解释性”问题——实际上这两者最终都指向了一个统计量，也就是 Causality。我们经研究发现，如果用 Causality 指标替代掉原来的 Correlation 架构，就有可能解决这两个问题。

Causality for Explainability

如果我们把所有的图像里面的特征可视化出来，比如上图中圈出来的这些特征，可以分为两类，其一是确实和“狗”的这个标签存在比较强的 Correlation，但如果在此前的数据分布下面，因为大量的狗都会在草地上，所以草地这个 feature 实际上也会和狗产生比较大的关联，Correlation 也不会低。这个问题也解释了为什么当我们把这样一个场景给换掉，同样一只狗扔到水里可能就无法识别了。

我们认为上图中红框和黄框圈出的都是 Correlation feature，当然这里还可以再做一个区分，就是这些 Correlation feature 中到底哪些是 Causal feature（the feature cause the image to be a dog），例如狗的鼻子、眼睛、耳朵等特征。理想化的情况就是我们能更很好地辨别区分出 Causality，并据此呈现判断结果，他人就会很容易理解。所以如果我们能引入 Causality，就能够自然提升模型的可解释性。

Causality for Stability