【论文阅读】心理健康领域的可解释人工智能，通过透明和可解释实现可理解

Explainable artificial intelligence for mental health through transparency and interpretability for understandability

文章主要内容总结

• 调研了应用了XAI的心理健康和精神病学的文献
  • 总结了这个领域的XAI应用具有模式：输入-f(x)->特征空间-g(f(x))->输出
  • 总结了可理解的AI，透明度，可解释性的定义
• 提出TIFU(Transparency and Interpretability For Understandability)模型
  • 要让人工智能得到信任，它必须是有效的，可靠的，可理解的。要让人工智能可理解，它必须是透明的，可解释的。
    • 在f()的过程需要透明
      • 特征f(x)应该与人类对输入x的理解密切对应，或
      • 输入之间和特征之间的差异和相似性应该有意义
    • 在g()的过程需要可解释
      • g()的计算过程可以表述清楚，或
      • g()的结构（参数）可以解释清楚
      • g()（对输入输出关系的）的展示（缺乏定义，例子包括abductive and inductive inference）允许人类探索输入-输出关系（模型的行为）
• 提出了构建遵循TIFU的系统的建议

新年开工看的第一篇文章，阅读的过程堪称受苦。第一心理健康并不是笔者的领域。第二作者不说人话，所有单词都认识但是就看不懂。第三作者好多地方定义模糊：presentation是什么？有什么形式？f()函数和f(x)特征也没有做出定义或者区分，全靠上下文理解。

文章内容翻译

摘要

关于心理健康和精神病学中的人工智能(Al)或机器学习(ML)的文献对“可解释性”的含义缺乏共识。在更普遍的XAI(可解释的Al)文献中，有一些关于可解释性的趋同，即模型不可知技术，用一个更简单的模型来增强一个复杂的模型(具有人类难以理解的内部力学)，以提供人类可以理解的结果。考虑到人工智能和机器学习中术语“可解释性”的不同用法和预期含义，我们建议通过将可理解性定义为透明度和可解释性的函数来近似模型/算法的可解释性。这些概念更容易表达，更容易“扎根”我们对算法和模型如何运作的理解，并且在文献中使用得更一致。我们描述了TiFU(透明度和可理解性)框架，并研究了它如何应用于心理健康研究中的Al/ML领域。我们认为，精神病学对可理解性的需求增加了，因为描述症状、结果、疾病和体征/症状的数据彼此之间具有概率关系，就像疾病的暂定病因和多因素社会和心理决定因素一样。如果我们开发和部署人工智能/机器学习模型，确保人类对这些模型的输入、过程和输出的可理解性对于开发适合部署的可靠系统至关重要。

intro

在这篇综述文章中，我们在精神病学/心理健康应用的特定背景下研究了可解释的Al(“XAI”)。在整个医疗保健领域，对通用XAI的雄心壮志出现了怀疑，并建议完全避免所谓的“黑箱”模型。当人工智能的输入和输出之间的计算机制过于复杂，以至于无法对模型为什么会产生这种输出进行表面描述时，人工智能就是不透明的或“黑盒”的——典型的例子是深度神经网络，其中计算复杂性通常以增加不透明度为代价，提供了显著的灵活性。从历史上看，归纳式数据驱动的方法被认为是人类难以理解的，这在人工智能在医学中的早期应用3中得到了承认，当时的研究倾向于使用符号命题和从形式逻辑导入的推理机制来明确地捕获临床启发式。同样，在开发MYCIN4时，作者更喜欢决策树，因为“为了被医生接受，[系统]应该能够解释如何以及为什么得出特定的结论”。在心理健康方面，早期基于AI的诊断应用明确了对可解释性的需求;例如，在开发DIAGNO-ii5时，将统计方法(线性判别函数和贝叶斯分类)与决策树进行了比较。在三种方法之间没有任何明显的性能优势的情况下，作者得出结论，决策树是首选的，因为数据、系统结构和执行的计算都与临床医生的领域知识密切相关，同时假设临床医生在诊断时使用类似的顺序规则输入/排除风格的推理。

这些例子集中在算法的结构和功能上，并表明两者都应该与临床医生如何利用患者信息进行推理的假定模型密切对应。在这里，模型结构是指模型的参数化，而函数是指将输入转换为输出的计算过程(补充信息中给出了一个具体的教程示例)。在当代文献中，这被描述为“内在解释性”2。由于在医疗保健应用中使用的大多数当代人工智能方法都是诱导的、数据驱动的，而且通常情况下，“黑盒”(特别是考虑到深度学习方法的流行)内在可解释性对黑盒模型的输入和输出之间的人类可理解的对应关系的规定是不存在的，从而导致post-hod技术的发展，其中另一种算法与主要的黑盒模型并行运行以提供解释。

追求可解释性的根本原因是，医疗专业人员和患者必须能够信任人工智能工具;更准确地说，一个值得信赖的人工智能意味着，人类行动者可以在一定程度上依赖这个工具，以节省对系统输出的人类监督、监测和验证。要信任已部署的算法或模型，我们必须了解在给定输入的情况下，它是如何得到输出的。因此，我们提出了一个透明和可解释的人工智能框架(图1)，其动机是可信度原则7使用以下标题:

定义(可以理解的AI)。人工智能要可信，就必须有效、可靠和可理解。为了便于理解，人工智能必须是透明的和可解释的，这是对可解释性的一种操作化近似。

图1：可理解模型的透明度和可解释性（TIFU）。TIFU框架将 "可解释性 "操作化，关注如何使一个模型作为透明度和可解释性的函数（这两个定义在正文中都有详细说明）而变得可理解（对用户）。算法和模型会在不同程度上满足这些要求，我们以逻辑回归为例进行说明。我们展示了逻辑回归的例子（绿色，在图的顶部），作为透明和可解释性模型的典范。

在接下来的内容中，我们提出TIFU框架(透明度和可解释性的可理解性)，重点关注可理解性作为透明度和可解释性的组合。模型reliability和validity的重要概念超出了本工作的范围，但已受到关注，并在文献8中有很好的描述;简单地说，为了reliable和valid，模型的预测或输出必须根据观察到的结果(或基本事实)进行校准和区分，此外，必须具有泛化性(即外部验证)，以便在模型开发期间未使用的新数据上部署模型时保持准确和有用9-11。

我们首先调查了心理健康和精神病学的文献，这些文献声称在各种应用领域提供可解释的人工智能。然后，我们强调与现有文献的联系，总结了支持TIFU模型的consistent和concrete的定义。自始至终，我们坚持讨论可理解性而不是可解释性。最后，我们总结了对构建遵循TIFU的系统的观察和建议。

Diverse Definitions

为了激发我们的提案，我们搜索了PubMed，发现在2017年首届国际人工智能联合会议的可解释人工智能研讨会之后不久，ZAI在精神健康和精神病学中的具体应用就开始出现了12。然后，我们调查了2018年1月1日至2022年4月12日发表的论文，以研究“可解释”一词在这些文献中是如何使用的。我们发现了各种各样的定义，这些定义的含义比较宽泛，通常是土话。我们找到了25篇符合审查条件的论文，其中15篇是原创研究，10篇是综述(搜索详情见补充信息)。

在表1中，我们总结了15篇原始研究文章，按应用分组(主要是神经影像学和调查数据)。值得注意的是，在深度学习方法使用最多的神经成像应用中，我们发现可解释性的定义几乎总是遵循所使用的XAl方法或技术(技术通常是的特征重要性方法，例如Shapley13和LIME14)。偶尔会使用可解释性或可解释性**“by design”的方法**;这两篇论文都使用了基于回归的方法。此外，只有三篇论文17-19相对于人类可能如何利用这些解释评估了他们提出的可解释人工智能——可以说，这是成功实现XAl的基本事实。在使用调查数据的研究中，情况明显不同，在这些研究中，对人类如何理解人工智能的推论、发现或预测的评估更常见，而试图更明确地定义他们想要的“可解释性”的含义的研究也更常见，这些研究不太可能简单地遵循所使用的方法。

AI的使用通常是预测和发现的结合(15项研究中的8项);这里，我们的意思是尽管，比如构建分类器是为了区分患者和对照组(目的是对新患者进行预测)，通常，训练过的模型随后被解剖，以提供对高维多元输入数据的见解——类似于经典统计分析中如何使用推理方法。这可能表明，当研究人员面对多元数据，但缺乏关于应用程序的清晰先验知识(有助于设计解决方案)时，监督学习的灵活性提供了自动化的特征选择。毫不奇怪，这种方法在神经成像研究中很流行。深度学习(特别是图像处理架构)在报告“预测和发现结合”的研究中尤其突出。

最后，我们注意到，当使用多种机器学习方法（例如，在神经影像学或调查数据中测试并选择表现最佳的分类器）时，除一个例外以外**，没有对可解释性的定义**，作者遵从了使用XAI方法。在主题上，几乎所有的原始研究论文都遵循一种模式，描述XAI的重要性，通常提出初步的论点（例如，人类操作员需要理解AI正在提供什么），很少明确讨论相对于应用领域或使用的方法的定义。更常见的是，论文不是明确定义的，也没有阐述研究者如何提供可解释性，而是延迟到方法（最常见的是特征重要性）或假设XAI是常识。

精神健康领域可理解AI/ML的框架

鉴于“可解释性”的多样定义，我们现在描述一个以透明度和可解释性为中心的心理健康研究的“可理解的AI / ML”框架，这两个概念在文献中具有更一致的含义，并回顾我们早先的定义，我们将understandability作为对“可解释性”一词的多样定义和使用的最具体的近似。为此，我们将定义锚定到具有固有可解释性或自身可理解的模型（即线性统计模型）。补充信息中给出了一个教程例子（将可完全理解的线性模型与不透明的神经网络模型进行比较）。

在图1中，我们展示了TIFU框架。AI / ML算法获取一些输入并执行操作，推导出作为下游计算的基础的特征空间，例如分类，回归，函数近似等。所得特征空间通常被优化以确保下游任务可行。如果我们将模型的输出表示为y，多元输入为x，f(x)是从输入到特征空间的映射的函数（可能是许多函数的组合），并且g(f(x))是下游过程（在特征空间上操作，也可能是非平凡的函数组合），然后：

定义（透明度）。一个模型的输入x和特征空间f(x)应该具有以下两个特点之一：

(a) 与人类对同样输入的理解密切对应；或者

(b) 输入之间（以及它们在特征空间中的表示）的关系应该提供具有临床意义的解释。

如果一个模型的输入是年龄和某种认知任务的表现（即测试分数），那么这个模型就是特征透明的，如果满足以下条件：

• 特征空间与输入完全相同，f(x)≡x；
• 特征空间可以被解释为输入的显式函数，例如：f(x)=Age+TestScore²，这个函数可以代表包含了与应用相关的人类专家领域知识的特征工程；
• 特征空间可以向人类操作者表示，使得样本（即两个不同的患者）之间的差异和相似性保持或具有临床意义，例如：具有相似TestScore值的样本可以聚在一起，即使它们的Age不同。在这个例子中，让f(x1)代表一个TestScore值低、年龄较小的个体（代表认知障碍早期发作的临床团体），让f(x2)代表一个TestScore值低、年龄较高的个体（代表另一个临床团体）-如果f(⋅)是一个非平凡函数，我们需要提供一种机制，暴露出为什么x1和x2在f(⋅)下表示得不同/相似，与人类专家对这两种情况的区分一致；一个明显的方法是保持距离的映射，用于无监督学习算法，或者用于监督分类的一致性度量，例如使用深度学习进行监督分类。

我们不必对定义输入之间“关系”的任何一种方法承诺，它们可以是概率的（不同的样本具有相似的特征空间混合模型成分的成员资格概率:指样本属于特征空间混合模型的不同成分的可能性），几何的（某些流形表示上的距离）或拓扑的（例如最近邻集合）。重要的是，特征空间以与临床问题/人群对齐的方式表示（参见例如，补充信息图2）。

定义（可解释性）。对于一个模型要是可解释的，类似于算法透明度的概念，我们需要以下其中一个或多个：

(a) 函数g(⋅)的计算过程可以表述得清楚，以便人们理解其输出是对输入的转换。

(b) g(⋅)的结构（参数化）可以被描述，并且具有临床意义。

© g(⋅)的呈现方式使人类操作者能够探索输入和输出之间的定性关系（即模型的行为）。

很明显，除非是最简单的情况（例如原始算术运算），否则(a)的标准将很难达到，同样，对于缺乏理论支撑的方法，例如线性统计模型，(b)的标准也很难达到。因此，在许多g(⋅)是其输入的非平凡函数的应用中，很可能会使用©的标准。 例如，逻辑回归满足可解释性的三个需求如下：

(a) 计算过程 (函数) 包括：先对输入进行加权求和，即 f(x) = x⊺β，例如表示 x 是正例的 logit 刻度下的 log odds；然后计算一个“链接”函数，将无界加权和转换为概率，即 g(f(x)) = 1/(1 + exp(-f(x)))。

(b) 参数化 (结构) β 直接可以解释为每个输入 xi ∈ x 相对于输出的 odds ratios。

© 呈现形式是简单的，即 Pr(y = 1∣x) = g(f(x))，尽管我们可能考虑一种与临床医生推理更兼容的格式，例如自然频率而不是概率陈述。

我们对透明度和可解释性（以提供一个易于理解的模型）的定义的的明显极限测试是深度学习的应用。例如，在引用15中，作者使用卷积网络预处理静态状态的fMRI数据，然后下游对可能患有强迫症的病例进行分类。他们的建模使用了三种不同的架构；两种直接在fMRI数据上操作（其中f(⋅)由两层卷积组成，然后是最大池化和线性输出层，实现监督特征选择），另一种是先前已经工程化的，结构分割过的分类器提供特征表示。使用卷积层的两种架构（至少，如15所示）不符合透明度或可解释性的标准。然而，第三种模型（基于分割的特征）符合透明度标准，因为对于个体患者，每个结构分割分类器都提供了一个特征值，该特征值与该脑区的病理概率（即与一种疾病或健康患者的原型相似或不同）成比例。此外，对于可解释性标准，我们得出结论，尽管上游分割系统总体上满足（a）和（b）标准，但是参考文献15中呈现的结果符合呈现标准（c）。

呈现和临床推理

在我们对可理解性的定义中（透明度和可解释性），我们严重依赖人类操作者能够将算法的行为（以及它们的输入）与其日常专业知识联系起来。我们将“呈现”作为可解释性的第三个组成部分，是因为我们预计模型的操作将过于复杂。为此，与其他人一致21，我们补充说，模型必须呈现与临床医生使用的认知策略一致的输入/输出关系。我们聚焦于abducive和inductive（而不是deductive）inference作为最适用的框架25-28。一些被调查的文献利用用户界面设计将复杂模型的输出以临床医生熟悉的方式呈现16,20,29-31。即使对于广义线性模型，临床医生可能难以直接查询结构（参数化）和功能（计算），但当然可以通过这些模型的结构获得可解释性（标准b）。

交互式可视化可以允许临床医生通过操纵输入特征（例如症状的存在/缺失）来**“探测”模型中结果**（例如诊断）的概率的变化，并帮助用户对输入/输出之间的关系建立定性的理解。类比地，诺莫格法32允许用户在没有明确知识（即所需操作的函数/计算过程）的情况下，通过可视化方式计算复杂数学函数的输出。在深度学习文献33中，类似的思想估计了分类器的输出的变化，即对输入（x）的系统性变化对g（f（x））的影响34，类似的扰动技术35可以应用于模型的组成部分（即分别对f和g，或如果g是复杂的函数组合）。然而，这些主要是工程解决方案的重点是图像处理系统，缺乏探索临床推理特定环境的文献，例如人工智能如何在图像以外的狭窄但类似的领域中协助诊断。

呈现的需求需要与AI的不同用例相一致。关于表1的“应用”列：对于AI应用的发现，归纳推理允许我们使用统计或概率信息从示例中推广；在图2中，如果我们知道80％的精神病患者（假说或诊断，D）有异常信念（证据，或征兆/症状，S），那么归纳允许我们根据我们对S与D关系的了解对D的个体做出推广，或符号化地，D → S。当分解疾病子类型36和神经科学发现37时，以归纳呈现方式呈现是有用的，其中降维和无监督聚类方法与归纳呈现相一致。

对于决策和预测应用更相关的是推理；根据某些证据推断哪些假设得到最好的支持，例如，在诊断推理中，我们可以考虑证据（如症状S）和多个候选诊断假设D1、D2、…Dn。我们的目标是推断哪个Di最能解释证据S，这与条件概率和贝叶斯定理是兼容的；也就是说，我们寻求Pr（Di｜S）∝Pr（S｜Di）⋅Pr（Di）。与归纳不同，我们推断S → D。归纳推断与演绎推断不同，因为虽然在演绎推断中“方向”是D → S，但D和S的真实性是绝对的；例如，在图2中，演绎推断将断言，如果一个人有精神病，他们一定有异常信念（与归纳推理提供的概率解释不同）。再次使用诊断的例子，很明显精神疾病的诊断与底层生物学具有“多对多”映射38-40，精神疾病的概率性（即将症状与诊断映射）已经长期被识别41，因此，影响了疾病的尺度特征化42。在这里，我们建议推理是最合适的。

图2示例的induction和abduction推论。使用诊断的例子，左面板显示归纳推理使用三段论推论——对个体的可能结论（在给定的例子中，已知这个人有psychosis的诊断，求它经历异常信念症状的概率）是通过推广可用数据（即显示精神病患者患有异常信念的比例的列联表）得到的。在右面板中，abduction推论可以使用可用的数据（两个诊断的对称表）对于给定的观察（一个人有异常信念）计算出最好或最可能的解释（即精神病诊断或抑郁症诊断）。

结论和推荐

我们现在描述了我们对XAl在心理健康方面的文献调查和提出的TIFU框架的含义。

首先，我们注意到XAl在心理健康方面的应用主要是预测、发现或两者的结合。

其次，我们要求可理解性，因为临床应用是高风险的。

第三，我们希望当我们部署人工智能工具时，它们应该帮助临床医生，而不是引入进一步的复杂性。

在我们回顾关于心理健康应用中可解释人工智能主题的最近文献时，我们注意到，在15篇原始研究论文中，有8篇将预测和发现放在一起考虑——使用我们的框架，这将需要分别考虑每个任务(预测和发现)的TIFU组件。

我们的第一个建议受到部署在临床调查数据的应用的Al/ML的多样性的驱动，如参考文献。20,31,43——在这里，这意味着大量的、有大量输入(独立)变量的表格数据，并且没有先验 数据生成模型 或领域知识来实现人类专家的特征选择/工程。这些应用的特点是:

(a)使用多种Al/ML方法并将其进行比较以找到“最佳”模型;

(b)对模型的事后询问(例如通过特征重要性方法)以提供最佳表现模型的这些特征的简明总结。

AI/ML方法本质上是用于自动探索与感兴趣的结果相关的信号的数据，同时提供一个功能分类器，可以部署以协助临床医生。

建议一:当多种 AI/ML 技术 (不透明且不易解释) 被用于发现与感兴趣的输出可靠地相关联的输入特征时，被发现的特征-输入关联应该通过事后构建一个透明的、可解释的模型进行测试，该模型只使用那些发现的特征。

从本质上讲，我们建议将AI/ML方法的大规模应用视为探索性分析，然后构建一个透明和可解释的模型。例如，在参考文献43中，表现最好的分类方法是XGBoost，使用SHAP值的事后分析确定了一个输入子集，这个输入子集作为特征最有效用，可用于分类个人是否可能在Covid大流行封锁期间经历情绪状态的变化。我们的建议是用发现的特征构建一个模型——清楚地识别从输入到特征的映射——检查它的性能并确保符合可解释性的标准。相反的观点是，这导致了循环分析——或者数据的“双重倾斜”——导致了可解释模型中的抽样偏差。这可能是对的，但这是该方法的一个限制，因为如果发现并迁移到可解释模型中的特征是健壮的，那么在另一个验证样本中进行前瞻性评估时，可理解模型仍然应该执行。后一个步骤可以确保模型是有效的、可靠的和可理解的，这只能在部署时为使用系统的临床医生提供保证。这一建议类似于“知识蒸馏”44，并且已经开发了大量从深度学习模型中提取决策树的方法45。

我们的下一个建议是由观察(见表1)驱动的，深度多层网络被用于实现分类作为下游任务，本质上是非常高维输入的特征空间表示的监督学习。在这些情况下，我们可以在上游组件(执行特征表示f(-))和下游任务g(-)之间识别一个分区。

建议二:当使用大容量、高维(多元)数据时，没有先验的领域特定约束，相反，我们希望自动将数据减少为下游任务g所必需的特征表示f:当用于实现f的方法既不透明(数据、特征)也不承认可解释性(功能、结构)时，应该设计它们，然后将其部署为下游任务g的可解释性方法中使用的单独组件。

从本质上讲，我们建议当我们依赖不透明模型来处理大容量/维度数据时，它们应该被视为预处理“模块”，而依赖于特征表示的下游任务g应该使用满足可解释性标准的模型来实现。例如，为识别OCD15患者而开发的解剖分割模型就说明了这一点。我们的建议是，与其使用后续的多层网络来分类强迫症，不如使用一个更简单的可解释模型，因为;然后，每个解剖分块预处理“模块”的输出是透明的，下游分类任务将是可解释的。

相反的观点可能是，上游的特征表示可能不够紧凑，或者下游分类器中的多层需要灵活地聚合g的特征表示;如果是这种情况，那么模型将必然保持不透明，缺乏可理解性，并且很可能容易受到f和g的过度拟合的影响，因此，不太可能在高风险应用中有用。

我们一直将AI/ML模型描述为由一个“上游”组件组成，该组件提供特征表示f-)，耦合到另一个“下游”过程g(-)，后者使用特征表示来执行例如预测、辨别/分类等。这可能不适用于所有的Al/ML方法-然而，从我们对当前精神健康和精神病学中的XAl的回顾来看，这是Al/ML方法的使用方式。

我们提出的TIFU框架同时降低了我们对什么是“可解释性”的雄心，同时强调并具体定义了(a)计算过程和结构，(b)输出的表示，©数据或输入与临床领域相关的方式。我们的方法借鉴了XAl一般文献中的原则，特别是参考文献2和参考文献21，将这些原则扩展到精神病学和精神健康的具体考虑，包括inductive和abductive推理以及 预测、发现和决策应用的可理解性的不同性质。总之，我们对 TIFU 框架的愿景是提高我们在涉及 AI 和 ML 的心理健康应用研究中对“可解释性”的一致性和具体性的理解。