让机器思维走出黑盒

适应性可解释机器学习项目旨在重新设计机器学习模型，以便人类可以理解计算机的想法。
Anne McGovern | 林肯实验室
2018年9月5日
软件应用程序为人们提供了多种自动化决策，例如判定某一个体的信用风险、告知招聘人员合适的人选或者判断哪些人可能对公众构成威胁。近年来，不断有新闻头条报道称，未来，机器将在社会背景下运作，在使用不可信逻辑的同时决定人类的生活方式，以示警戒。

这种恐惧一部分来自于许多机器学习模型模糊不清的运作方式。这些模型被称为黑盒模型，它们被定义成了一种系统。在这种系统中，甚至连系统开发人员都无法理解输入到输出这一过程。

“由于机器学习已经无处不在，并被用于可能导致严重后果的应用程序，所以人们需要了解它的预测方式，以便在它被用于广告以外的领域时能够信任它，”麻省理工学院林肯实验室信息学和决策支持小组的技术人员Jonathan Su说。

目前，研究人员主要使用事后技术和可解释模型（如决策树）来解释黑盒模型得出结论的方式。通过事后分析技术，研究人员观察算法的输入和输出，然后尝试对黑盒内发生的事情构建近似解释。这种方法的问题在于研究人员只能猜测内部运作，最后的解释往往是错误的。而决策树技术则是在树状结构中映射出选择及其潜在后果，这一技术可以很好地处理那些有意义的分类数据，但在诸如计算机视觉和其他复杂数据问题等重要领域不适用。

Su带领实验室的一个团队与杜克大学的Cynthia Rudin教授以及杜克大学的学生Chaofan Chen、Oscar Li和Alina Barnett合作研究了一种用更加可视化的预测方法取代黑盒模型的方法。这一项目被称为适应性可解释机器学习（AIM），专注于实现两种方法：可解释的神经网络以及适应性可解释贝叶斯规则表（BRL）。
神经网络是一个由许多相互交织的处理元件组成的计算系统。这些网络主要用于图像分析和对象识别。例如，通过算法从一堆狗的照片中识别出一只狗。研究人员表示，这些神经网络具有非线性和递归性，对人类来说十分复杂且难以理解，因此很难查明神经网络究竟是如何定义照片中的“狗”的，又是怎样得出结论的。
为了解决这个问题，该团队正在开发所谓的“原型神经网络”。与传统神经网络不同，这些神经网络通过创建原型自然地对各项预测作出解释，原型通常为输入图像的代表性部分。这些网络基于输入图像的各个部分与各原型之间的相似性来进行预测。

举个例子，如果某一网络的任务是识别某一图像是狗、猫还是马，那么该网络会将图像的各个部分与每种动物的重要部分的原型进行比较，并利用这一信息进行预测。最近一集的“国内数据科学”播客就提及了一篇关于此项工作的论文：“看起来像是：关于可解释图像识别的深度学习”。之前曾有一篇论文“通过原型进行基于案例推理的深度学习：解释其预测的神经网络”将整个图像（而非其中的一部分）用作原型。

研究团队的另一个研究领域是BRL，一种简单的单侧决策树，适用于表格数据，其准确性通常与其他模型一样高。BRL由一系列条件语句组成，这些条件语句自然形成一种可解释模型。例如，血压升高时，患心脏病的风险也会提高。Su和他的同事试图利用BRL的特性来促使用户判断出对预测而言至关重要的特征。此外，他们还开发了交互式BRL，这种BRL可以在有新数据输入时立即作出调整，而非基于日益增加的数据集从头开始重新校准。

佛罗里达大学的研究生Stephanie Carnell也是信息学和决策支持小组的一名暑期实习生，他正将AIM项目的互动BRL应用到一个帮助医学生更好地与患者面谈而且更准确得判断患者病情的项目。目前，医学生主要通过与虚拟患者面谈并根据他们在发现重要诊断信息方面的得分来练习这些技能。但是他们并不知道获得这些分数的原因。AIM项目希望改变这一点。

“我能想象，大多数医学生都对没有具体理由的成功预测深感沮丧，”卡内尔说。“AIM生成的规则列表应该是一种为学生提供数据驱动、可理解反馈的理想方法。”

AIM项目是实验室对人体系统工程 - 或者设计与人们思考和运作方式更加协调的系统（例如可理解的算法，而非模糊不清的算法）的持续研究。

“实验室有机会成为将人类和技术结合在一起的全球领导者，”信息学和决策支持小组的助理组长Hayley Reynolds说。“我们正走在巨大进步的前沿。”

Melva James是另一位参与AIM项目的信息学和决策支持小组的技术人员。“我们在实验室开发了BRL和交互式BRL的Python执行程序，”她说。“[我们]正在同时测试不同操作系统和硬件平台上BRL和交互式BRL执行程序的输出，以便建立可移植性和再现性。我们还在识别这些算法的其他实际应用。”

Su解释说：“我们希望为实验室建立一种新的战略能力，即人们可以了解从而加以信任的机器学习算法。”

主题：林肯实验室 机器学习 算法软件 人工智能研究