原文链接：https://www.sohu.com/a/378059570_651893
今天的演讲主题是《Engineering responsible AI 》，众所周知，AI是一个热词，每个人都在谈论，实际上所有大企业的高管也都在谈论AI，可能你不理解为什么？这是因为人工智能的反义词是天生愚钝，所以你不得不谈论它。
今天我真的想和大家分享一些东西，讨论为什么我们真的有点儿需要担忧AI。
人们谈论的 AI 听起来非常花哨和科幻，但事实并不是。人们使用AI的场景无处不在，无时不在，非常简单的一个例子就是Netflix的推荐系统。
例如我在看电视的时候，Netflix就给我推荐了比尔盖茨的连续剧，这非常符合我的兴趣，毕竟我关心比尔盖茨的话题，我关心高科技行业发生了什么。
但是让我不理解的是，为什么会有其他奇怪的推荐。显然，这种“莫名”并不是糟糕的事情，如果用在医疗保健，那么就要严肃起来了，比如让 AI 评估某种病毒，这个病毒结果我们就需要慎重对待。不光是医疗保健领域，例如在金融领域，借贷领域也有类似的问题。比如苹果公司发布了信用卡，某人的额度却比他的妻子多10倍，但是这两人的财务状况是相同的呀。
更要引起重视的是，在现在的法律体系，人工智能已经能够协助法官作为一些关键的决定。接下来我的第一个例子就是谈谈来自法律领域的挑战。
确实，人工智能已经能帮我们做一些决定，但问题在于我们人类不理解这些决定，越来越多的AI都像是黑盒子。我们想要打开黑盒子，真正理解人工智能所做的每一个决定，包括这些决定都是出于什么理由、设计AI的人能不能理解、它的用户能不能理解。
所以这才是今天主要的话题，下面我会分享一些在别的项目研究中学到的东西，以及我们一直在做的项目。
在深入项目讨论之前，我要先分享一些微软在人工智能方面的原则和道德。我建议每个人都有应该坚持的一些非常重要的原则。
微软CEO萨提亚·纳德拉表示过AI的发展需要遵循一定的基本原则，包括公正、透明、可信赖 & 安全、隐私 & 安全、适用范围广泛、负责。显然我今天没时间仔细解释所有这些方面，我就只谈一些方面。
实际上人类历史上每一次新技术的出现，每一次技术的颠覆我们都面临着同样的问题。所以每次当我们拥有新技术的时候，我们都必须弄清楚，如何才能使技术在责任方面更加可靠。
举个例子，现在我们在电子时代，当我们设计电子产品的时候，每一种电子组件都有自己的规格、性能明细表，一旦哪里出现问题，就可以对照规格性能明细表进行复盘，从而找出问题。但是，AI 是不同的，AI 没有这样的一张明细表，我们往往不知道是哪个环节出现了问题。
别的行业还有一些很好的经验可以参考，比如航空业使用的检查单，飞机降落之前要对照检查单逐项做检查准备。其实我有个同事就有自己的私人飞机，有一次降落前他没有按照检查单做检查准备，结果忘记放下起落架了。这是不应该发生的。所以即便检查单听起来很没有技术含量，它也是我们学到的重要经验教训。
下面我来谈谈《Engineering Responsible AI》主题下的两个话题。
构建具有可解释性的 AI
第一个话题是构建具有可解释性的 AI，这目前已经是非常活跃和热门的研究课题了。看下面一张图：横轴表示模型的解释能力，越往右，解释能力越强；纵轴与精度有关，越往上模型越准确。
在30年前，40年前这些模型尚未命名为AI，当时我们称之为使用线性回归。因为具有可解释性，线性回归非常简单。线性回归之后，我们慢慢地设计越来越复杂的模型，也就是使用了逻辑回归，决策树，然后再到广义加法模型。最后，得到了神经网络模型。
现在我们有着越来越多的深层网络，模型非常复杂，百万参数已经不算什么，带有数十亿参数的模型也已经开发了出来，所以现在的人工智能神经网络非常的难解释。现在学术界的研究方向是，要么从左侧向右侧，在保持准确率不变的同时提高可解释性；要么从下向上，在保证可解释性不变的同时提高准确率。所以大家基本上想要的是可解释并且准确的人工智能。
所以，我们有很多工作要做。下面我要展示两个关于可解释人工智能的例子。第一个例子是我微软同事所做的【提炼和比较】的工作。
人工智能这一黑匣子已经在很多场景应用了，可能你不了解他的源代码和其他东西，但却却实实在在的在使用。所以我们会担心其中是否会存在什么问题。
有一种做法是对它进行核验audit，试着进行收集更多的数据来检验模型的运行情况。然后可以从原先的复杂的模型，用“老师-学生”训练的方式提炼出一个精简的模型，然后把提炼出的这个模型和真实情况做对比。
一个独立人权组织曾在2016年进行了一项非常有趣的研究，一些法院已经用机器学习帮助法官决定判刑的刑期了。然后研究者通过收集数据，然后分析，确实发现了某些偏见，结果如下所示：
红色曲线代表从模型提取的情况，绿色曲线代表实际情况。例如，你是如何知道这个人什么时候会再次犯罪呢？那这时来回顾下过去的数据，数据显示这个人有犯罪史，这个人过去犯得罪越多，以后就越有可能犯罪。这一定程度上与第一个图形显示的结果相吻合。
但是现实的结果如何呢？来看一个机器学习系统预测的比赛，也是根据事实预测的。从图上可以看出，美国本土居民犯罪率较高，对应地，重新犯罪比率也更高（红色显示），但实际上绿线显示却与之相反，人们印象中非洲裔美国人很容易犯罪，但实际上也并非如此，也就是说尽管是基于事实进行预测，也存在着一定的偏见，所以在利用数据、使用机器学习模型时要格外谨慎。
第二个例子是真正深入研究深度学习，研究现在非常流行的深度神经网络模型，
华盛顿大学的一位博士生（毕业后加入了微软）曾经写了一篇《我为什么信任你》的论文，这篇论文中提到：我们如何透过复杂的模型了解其中的内容呢？一个复杂的模型就像黑匣子一样，我们只知道向里面输入一些东西，然后就会得到一些东西，其他一无所知。因为模型本身就非常复杂，并且是非线性的，晦涩难懂，所以很难解释。
所以他提出了一个想法，既然整个模型那么难理解，为什么我们偏要寻求全局的解释呢，我们应该先观察一个点，然后找到特定的解释。
所以就像上面这种方式，其实并不复杂，先在点x周围取样，然后就会得到“一些”点。然后将这些点的数据放进一个模型，然后从复杂的模型中得到预测，随后根据点的距离很行样本，然后在已经衡量过的样本上学习简单的模型，最后用简单的模型解释点“X”。
举一个简单的例子，经过机器学习训练的系统预测：图中是电吉他的概率为32%。古典吉他的概率是24%。另外，在有21%的几率的狗的情况下，它甚至可能是黑乎乎的一片。
为啥会出现这种情况呢？这篇论文作者说，其使用的还是局部的解释。也就是只使用像素来形成模型，之所以是吉他是因为图片那块的像素告诉我这是吉他。也即如果我观察到那一步的的像素，那么我有30%的几率学习到吉他。
现在我们把它应用到更加现实的例子中去，看看下面这个已经训练好的神经网络检测图片中的动物是狼还是哈士奇。在以下6张照片中，只有左下角的一张被识别错了。
这个模型5/6的准确率非常高对吧？那么我应该高兴么？不确定，这取决于你想要什么。如果认为是一只哈士奇，却把狼带回家，那麻烦就大了。
让我们看看模型到底发生了什么，这个深度神经网络到底是通过观察图像中的哪些区域来分辨是狼还是哈士奇的？然后我们发现，AI并非像我们理解的那样通过动物的外形来辨别的，而是在观察图像中有没有雪，如果有雪，那就是狼。
这就是问题，所以你以为训练了一个非常强大的模型，实际上并非如此，这就是我一直在强调的：模型的可解释性十分重要。
AI 偏见
偏见非常重要，任何时候都重要。当你构建模型的时候，从数据开始，你就必须明白偏见是从哪里来的。
上面这条新闻是两年前的，标题非常令人耸动，如果你是白人男性，那么人脸识别系统识别你的时候准确率是最高的。他们研究了三个开源的API，分别来自微软、IBM、Face++。这三家的算法，虽然微软是最好的，但是准确率并不可观。
看总数，微软的系统准确率有95.1%。你可能会说，5%的错误率也不高嘛。如果仅就性别来说，将男性识别为女性的错误率只有4.8%。将女性识别成成为男性的错误率却只有10.6%。如果肤色深一些的女性，难么错误率就会达到21%。这就是这篇文章所展现的，是不是很惊讶！
后来我们又花费了百万美元进行进一步研究，和麻省理工学院媒体实验室合作攻关。最后我们把系统的总体识别错误率降低到了0.4%，即使是皮肤颜色比较深的女性识别错误率也只有不到2%。
其实需要改进的地方还有很多，首先抽样数据的问题就不容忽视，我们发现在原来的系统中，没有足够多、足够好的样本来自不同肤色种族的数据，这就无意中将偏差引入了机器学习系统。
如何改善这一点，我们对微软的500名机器学习工程师做了一项调查，主要是询问他们：你想要设计哪些工具来改善你的机器学习系统？
大多数人表示，调试工具非常重要。“如果出现问题了，我希望能够了解这个问题是怎么回事。”
我们用一个典型的机器学习系统来解释一下到底发生了什么：当你建立一个机器学习系统的时候，你得有一个模型，然后得有某种指标，测试集指标。测试之后你可能会说，现在我的系统准确率有73.8%。如果你更加仔细的研究一下，就会发现73.8%的准确率并不是均匀分布的。
所有数据里的有些部分还有不错的准确率，有些部分就低得很可怕了，比如只有42%。那么我们能做些什么呢？可以建立一个调试系统，并使用一种叫做特征增强的东西，这样就可以直接比较哪里出了问题。
再次强调一遍，传统的机器学习系统只是做了做基本的事情，即训练模型，然后得出结果。我们的想法是使用一些系统增强的功能，对不同功能的差异设计一个全局视图，甚至树状图，以便对一些错误进行解释，这样能够真正了解正在发生的事情。
下面我们回到面部识别的问题，来看看你是否正确地对男性和女性进行了图片分类。
一开始看这个系统的测试结果，你可能会觉得它做的还不错。在全部的1238个样本里，只错了68个。
但是你如果分别看男的错了多少、女的错了多少，那么这68个里，有63个都是女性被识别错了，男性被识别错的只有5个。看到了吧。
所以除了查看这些错误的例子之外，我们需要增强一些特征。比如“是否化妆了”，可以调用我们的云API，获得这个判断是否化妆了的API，也可以设计自己的API。
我们就发现，如果你没有化妆，就很容易误识别，219个没有化妆的里，有52个都识别错了。
下面我们还可以看到更多的特征，这个人是不是短发，133个短发里有45个都识别错了。继续往下，是不是在微笑。到了这儿，就是没有化妆、没有微笑的短发女性有98个，其中有35个都识别错了。
这样一步步回溯，我们就找到问题了。然后可以改进你的采样方式、改进你的模型、设计更好的系统，来纠正这个问题。
这是我们正在做的一个很令人兴奋的项目，我们未来可能会向大众公开发布这个成果。它可以成为一个帮助所有机器学习研究人员改进他们的系统的工具，并不仅限于微软内部使用。
这是我向大家介绍的第一种偏倚。下面我要介绍的最后一个例子也是关于偏倚的，这个偏倚出现在词嵌入（word embedding）上，具体来说它来自我们从网上收集、然后用来训练机器学习模型的网络文本数据。
最近，NPR采访了我的一位同事，写出了一篇很有趣的报道。这篇报道的标题是“他很聪明，她很性感：我们要如何让电脑不那么性别主义”。我不知道各位听到“他很聪明，她很性感”这样的句子的时候是否觉得舒服，还是会觉得不太妥当。
下面我们具体一个例子，这就是我们当前的机器学习和自然语言处理模型上会出现的问题，也正是我们展开相关研究的动力。我们用互联网上找到的许多个人简历数据训练了一个职业分类器，我们设定了27种不同的职业，包括会计、设计师、律师助理、外科医生、老师等等，把系统训练出来，一切看起来都挺好的。
然后我们专门挑了这样一段话用来测试这个系统，系统给出的预测结果是，她是个老师。我们看这段话的感觉是，这应该是个很热心的人，可能是个慈善家，不过由于系统里没有设定慈善家这样一个职业，所以它就预测这个人应该是个老师。到目前为止还挺合理的，确实和老师相符。
但需要引起我们警惕的是，只要把这段话里的几个词改一改，把女性代词的she/her改成he/his，就改这些，别的都保持原样，然后系统就会预测这人是个律师。顺便说一下，这份是比尔盖茨的妻子马琳达盖茨的简历。
这时候大家就会问了，这是怎么回事？为了让大家能够理解这个问题，我要给大家介绍一些自然语言处理的基础知识。
具体来说，有这么一种叫做词嵌入的东西。它没那么复杂，我们可以从几何角度理解它，它有两个基本性质，一个性质是邻近性（proximity），另一个性质是平行性（parallelism）。我举个例子你马上就懂了。
假设我告诉你两个词，苹果和微软，你马上想到的是这是两家大公司，都是由很厉害的人建立的，其中一个人还一直和我们在一起。那么，苹果之于微软，就好像是史蒂夫乔布斯之于比尔盖茨，以及，苹果总部在库比提诺，微软总部在瑞德蒙顿，这就是平行性和邻近性。就这么简单。这就是词嵌入的基础理念。
现在我们看看关于男性、女性的词嵌入的几何关系。这可能是我今天的演讲里最有趣的地方，希望大家可以尽量集中注意力。
现在，如果she对应的单词是sister，那么he对应的词就应该是brother。接下来，如果she对应的词是nurse，he对应的是？大家会说是doctor，那你觉得这里有没有问题呢？说明一下，这是根据我们从网上收集的数据，训练模型之后得到的结果；而且为了更公平，我们甚至没有用微软自己的数据，用的是谷歌的数据。这全都是基于网络上的数据的。
我们继续看，she 对应homemaker家庭主妇，he对应什么？偏倚开始出现了，he对应的是计算机程序员，我们都能看到一些问题了。
she说“OMG”，对应的he说什么？清华的学生们肯定不知道答案是什么，这些答案都是从网上的数据里学习得到的，不是我们编出来的，实际上这就是我们的文化构成的一部分。这个答案是WTF，当然了我们中国人不说这个。
现在要看一个非常有趣的例子了。以前我给别人讲到这里的时候会说，如果你能猜到这个，你就可以到微软来做实习生。不过我现在已经不在微软工作了，所以现在猜出来的人，我可以推荐你到微软去做实习生。如何？
这个例子是，如果she对应feminist女权主义者，那么he对应什么？大家努力想想，微软的实习生薪水很高的（现场笑）。
我听见有人说沙文主义者（大男子主义者），猜得很好，但其实这里的性别偏倚还不在这个层面上。答案是realist，现实主义者，看出来了吧，特别严重的性别偏倚。
最后一个大家看个开心，如果你猜出来了，以前我就可以直接邀请你到微软工作，现在我可以高度推荐你到微软工作。she 对应pregnancy怀孕，he对应什么？
我在很多地方都讲过这个，听到过各种各样的答案，没人答对过；我们组里的研究员第一次给我看的时候我自己也没猜对。所以我们来看这个答案吧，是kidney stone（肾结石），感觉好像并没有错，毕竟同样是身体里的呀，而且可以“出来”。
现在大家看到了，有这么严重的性别偏倚，但是人们从来没有注意过，都是直接盲目地把数据采集下来，训练模型，然后就到处使用，就出现各种各样的问题。
为了进一步说明这个问题，我把这些词向量画在了x-y轴上。y轴表示，如果一个词越高，它和she的关联性就越高；越低，它和he的关联性越高。而x轴，如果一个词很靠右，其实这个词本身和性别的关系就很小；靠左的词，就是带有非常强性别属性的词，比如妈妈、爸爸这些词，都在左侧，wellness健康、moves动作、replay回放这些词都在右边，是完全和性别无关的。
我从里面挑出了一些词，现在就能看到问题了。sassy无礼的这个词，和she有很强的关联；而另一方面，genuis天才、hero英雄，都和he相关。
这些都是系统从数据里学习到的。现在我们就需要判断，把这样的东西直接应用在你的机器学习系统里合不合适？你要不要做一些什么？
其实这个问题也并不好回答。即便我们知道了这些问题，也不代表我们就有解决方案。
我们想过一个简单的办法，它可能没法解决大多数问题，但它可以解决一部分问题。这个问题就是，直接压缩y轴，所有的词都在同样的横轴上，这时候sassy和genuis就既可以用在男性身上、也可以用在女性身上；本来这两个词也不需要任何性别区分。不过，这种做法也会带来一些别的问题，我们需要多考虑一下。
这就是一个简单的例子，帮助大家认识到这个问题。
我的同事 Adam Kalai 和他的团队最近研究了问题，写了一篇很棒的论文《Man is to Computer Programmer as Women is to Homemaker? Debiasing Word Embeddings》，我非常建议大家去读一读。
现在，回到我在演讲一开始说的，以及给今天的内容做一个总结。现在我们已经进入到了AI时代，实际上我们是人类历史上AI一起生存的最早的一代人。不管你喜不喜欢，你都没有选择，我们离不开AI，AI也正在变得越来越强。
不过也有些事情是我们可以选择的，比如我们要如何设计AI、如何使用AI。我们不能就说“AI就是黑盒子，就是会出现这样的问题”。
所以我想给所有清华的学生们提出这个问题：你能否接受一个AI会做出我们无法解释的决策的未来？我希望大家都可以深入思考这个问题。
我期待有更多机会和清华的师生有更多紧密协作的机会，也期待可以在清华校园、在北京见到大家，谢谢大家。
部分听众提问
GIX现场学生提问：您是否知道微软研究院的Scott Lundberg？您怎么看待他的SHAP等等研究？
沈向洋：这个问题非常好。Scott Lundberg是一位非常优秀的博士研究员，最近从华盛顿大学毕业的，然后加入了瑞德蒙顿的微软研究院。我研读了他的成果，内容非常深入，最近我也比较关注他。
我能指出的是，可解释AI这个研究领域正在快速发展扩张，这是一个非常重要的领域。它有不同的思考角度、研究成果，LIME的成果可能更容易解释，SHAP的成果就需要更多的背景知识。在今天的演讲里，我主要引用的是marcus的成果。
在线观众提问：如果从数据中学习到的词嵌入本来就是有偏倚的，那么去除偏倚的做法可能会降低使用这些词嵌入时候的准确率。有没有什么新的研究成果可以在去除偏倚的同时不降低准确率？
沈向洋：去除偏倚的时候确实会对准确率有影响。不过这还取决于你的目标，在刚才的例子里，我们把y轴压缩，这能解决一些问题，也可能会带来一些新的问题。所以根据你对准确率的定义，你可以使用不同的方法。
提出这个问题的人、对这个问题感兴趣的人，我强烈推荐你们关注一下Adam Kalai的研究，他是波士顿的微软剑桥研究院的研究员，他和他的团队做这个领域的研究已经有很长时间了，有很多研究去除偏倚的论文都得了奖。我觉得准确率和去除偏倚这两件事之间没有固有的联系，它取决于你面对的任务是什么样的。
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
