文献速递：医学中的人工智能必须是可解释的

医学中的人工智能必须是可解释的

01
文献速递介绍

为了衡量公众情绪，一个会议向与会者提出了以下问题：假设你患有癌症并需要手术切除肿瘤。如果你必须在人类外科医生（死亡几率为15％）和机器人外科医生（死亡几率为2％）之间选择一位，但前提是没人知道机器人是如何操作的，且不能向它提问，你会选择哪一位？除了一位与会者外，所有人都更倾向于选择人类。

机器人外科医生旨在模拟黑匣子的风险——现代使用AI/ML的设备核心逻辑中长期存在的无法解释性。即使传统机器学习可以辨识出疾病迫近的模式，算法也无法解释背后的逻辑。传统机器学习可能有无数种路径得出决策，这被称为“非凸性问题”。技术原因使得可解释AI设备具有挑战性；“黑箱逻辑”仍然是一个主要障碍。

黑箱问题也可能部分解释为什么很少有AI/ML技术进入临床实践。医生不太可能放弃自己的判断来依赖机器。他们希望AI能够增强而不是替代他们的能力。黑箱一直是信任的一个大障碍，尽管并非所有医学界人士都关心这个问题。支持黑箱的论点如下：“在常规基础上开出的4900种药物中，我们并不完全知道大多数药物的真正作用机理。但我们仍然使用它们，因为我们通过随机对照试验确信它们是有益的。”那么，为什么AI的情况会有所不同呢？

我认为黑箱存在几个问题。依赖逻辑不透明的设备违反了医学伦理原则。黑箱医学不允许临床医生审查训练标签或数据的质量，这与循证医学相悖。如果患者无法质疑AI系统，他们的自主权和知情同意可能会受到损害，这引发了伦理问题。算法偏见的潜在风险可能也违反了行善和不伤害的原则——例如，旨在根据医疗费用对疾病严重程度进行分级的AI算法被发现对黑人患者存在偏见。使用过去数据进行学习的算法可能会延续结构性不平等，这违反了道德规范和法律规范。即使在药物开发中，随机对照试验也被用作安全验证步骤，而不是概念和理论发展的替代品。没有临床联系的黑箱医学并不是好医学。

监管机构已注意到这些问题。美国联邦贸易委员会在2021年4月发布了新指南，要求算法开放、可解释和公平。今年早些时候，美国食品和药物管理局在“医疗软件”行动计划中提供了建议，以确保医疗软件输出与所针对的临床状况之间有实质性的临床联系。欧盟的通用数据保护条例要求算法透明，今年欧盟委员会发布了一份报告，以防止AI偏见造成的歧视。

由于监管机构不愿批准缺乏临床联系的任何诊断方法，黑箱阻碍了AI的采用。目前有几项研究努力旨在揭示用于疾病诊断和患者预后的AI算法背后的逻辑，但这些主要侧重于事后的解释。在大多数AI模型的设计中并未考虑可解释性。在一项被称为“模型后解释性”的研究线中，研究人员破坏图像的部分特征以查看是否改变了AI系统的答案，以了解哪些图像特征被用来做出决策。这些解释对于人类来说不太可能有意义，因为解释算法如何工作（算法可解释性）与提供分类的生物学解释（用户可解释性）之间存在区别。

解释性应该成为医学中AI模型的要求，并且应该从一开始就内置。成功的先行方法可以基于数据的底层结构。例如，基于运输的机器学习同时提供算法解释性和生物学解释性。它通过追踪质量密度的移动并通过检查体素组而不是单个体素来量化总体细胞或分子的移动。基于运输的学习直接考虑生物物理组织特性，因此可以在没有先验特征知识的情况下，以完全自动化的方式从图像中学习不易察觉的模式。这些模型可以被审查，以可视化分类决策背后的生物物理组织模式，从而实现透明度和可解释性。基于运输的机器学习帮助发现和可视化了脑回路在脑震荡后反应时间缺陷患者中的扰动，并能够在健康人出现症状前三年预测骨关节炎进展的迫近。

有人说：“好医生治疗疾病，伟大的医生治疗患有疾病的病人”。医患关系建立在沟通和信任的基础上。没有医学上可解释的AI，医生将几乎没有什么可以与患者沟通的，这将导致患者信心和满意度的丧失。逻辑的透明性可以增强医生的能力，而不会剥夺他们的主动性，这可能为AI在医疗保健中的更广泛使用打开大门。这是打开黑箱的真正承诺。

Title

题目

AI in medicine must be explainable

人工智能在医学中必须是可解释的