AI系统进入临床实践的几点考量——DECIDE-AI读后感

AI系统进入临床实践的几点考量——DECIDE-AI读后感

DECIDE-AI是一个新的阶段性报告指南，用于早期的临床评估基于人工智能（AI）的决策支持系统。它由欧洲影像学和医学人工智能实验室（IDEAL）合作开发，旨在解决临床AI性能的人为因素方面缺乏关注以及AI系统临床研究报告不透明的问题。官网

读后感觉深受启发，罗列如下：

1. 纳入使用者评估
DECIDE-AI指南的一大亮点是其纳入了AI使用者（医生或护士）的评估，这在以往的AI临床试验报告中有所欠缺。指南要求纳入患者和AI使用者两类研究对象，并对两类人群分别制定纳排标准和样本量。这对于评估AI系统在实际临床环境中的表现，尤其是其对使用者行为和决策的影响至关重要。

在结果部分，指南建议重点关注使用者与AI判断之间的一致性。这可以衡量AI系统是否能够有效地传达信息并帮助使用者做出正确的决策。此外，还可以分析使用者对AI系统的信任程度和满意度，以了解AI系统的人机交互是否有效。临床上，AI系统通过改变使用者的想法和行为来改变患者的临床结局，所以对使用者的关注和研究还是有必要的。

2. 重视错误判断和不良结局
除了评估AI系统对患者结局的影响之外，DECIDE-AI指南还强调对AI系统发生的错误判断以及对造成的不良结局进行描述和评估。这对于识别AI系统的潜在风险和改进方向至关重要。

指南建议对不良结局进行定义并进行分析，包括不良事件的发生率、严重程度和可避免性。这可以帮助研究人员了解AI系统在哪些方面存在不足，并采取措施加以改进。

3. 关注人机互动和易用性
DECIDE-AI指南将AI系统定位为辅助决策的系统，而非独立决策的主体。因此，指南强调对人机互动和AI系统易用性的评估。

指南建议评估以下几个方面：

• 输入形式：AI系统应该能够接受多种形式的输入，包括文本、语音、图像等，并能够适应不同的使用习惯。
• 结果呈现形式：AI系统应该以清晰易懂的方式呈现结果，并能够根据使用者的需求进行调整。
• 用户培训：AI系统应该提供必要的用户培训，帮助使用者了解如何有效地使用系统。

4. 强调算法伦理性

DECIDE-AI指南提出了AI算法伦理性的问题，这在以往的AI临床试验报告中很少涉及。指南指出，AI算法应该避免加剧现有的医疗资源的不平等，并确保所有患者都能平等地获得AI技术的益处。医学伦理有一个原则就是保证相对弱势的群体，比如妇女和儿童等，在享受医疗条件上的平等，比如，有些医学研究为了方便，设定年龄在18岁以上，就忽略了儿童在这方面可能的获益；而AI算法也可能造成或者加剧这方面的不平等，因为AI是由已有的临床数据训练而成的，如果这些数据仅仅来自于成年人，当然也可能是无意的（临床上某种疾病的数据成年人的数据本身占绝大多数），无论哪种原因，最终造成AI就不适用于儿童，造成了儿童不能享受这方面的医疗资源，制造或者加剧了医疗资源的不平等。这是一个很好的提醒，是收集数据和训练AI时需要注意的。

指南建议在以下几个方面进行伦理评估：

• 数据公平性：用于训练AI算法的数据应该来自具有代表性的群体，避免偏见和歧视。
• 患者隐私：AI系统应该保护患者隐私，并符合相关法律法规。

最后

个人主要关注机器学习模型如何进入临床，摸索其进入临床实践的路径也是我们努力的方面。DECIDE-AI指南也涵盖机器学习，可能更多考虑到语言模型的使用。机器学习模型相对简单一些， 但以上原则在机器学习进入临床时也是需要重点考量的因素。