XAI——可解释AI

最近在网络流量分类领域发表了很多关于适用 XAI 技术的文章，在搜索了一些其他方向的文章后发现 XAI 也是目前热度比较高的方向，所以大致了解和学习一下 XAI 的基本知识。

WIKI 定义

Explainable AI (XAI), often overlapping with interpretable AI, or explainable machine learning (XML), either refers to an artificial intelligence (AI) system over which it is possible for humans to retain intellectual oversight, or refers to the methods to achieve this.[1][2] The main focus is usually on the reasoning behind the decisions or predictions made by the AI[3] which are made more understandable and transparent.[4] XAI counters the “black box” tendency of machine learning, where even the AI’s designers cannot explain why it arrived at a specific decision.[5][6]

XAI 旨在解释已经做了什么、正在做什么以及下一步要做什么，并揭示这些行动基于哪些信息。
XAI 算法三个原则：transparency，interpretability，explainability。
Transparency（透明性）——如果方法设计者能够描述和激励从训练数据中提取模型参数和从测试数据生成标签的过程，则模型是透明的。
Interpretability（可解释性）——侧重于理解模型的内部工作原理，即可以理解当更改系统的输入/参数时，会发生什么 [1]。人类能够直观地理解模型的程度，仅仅基于模型的设计方式，而无需其他信息。如果有个模型的可解释性和好，
Explainability（可说明性）——侧重于解释所做的决策，总结产生每个结果的原因，说明为什么会导致这种结果。

Transparency

透明性，我们可以形象的用玻璃盒来理解。不可解释的机器学习和深度学习过程都是黑盒的，我们无法看到这些方法中间每一步都做了什么，每一层的输入对应怎样的输出我们都是不知道的。而一个透明的项目，目的是在不牺牲较大 AI 性能的情况下，向“人机交互”解释。这种透明模型的人类用户可以理解 AI 的认知（包括实时和事后），请可以决定是否信任 AI。
透明性 Transparency** 我们很好理解，但是 Interpretability 和 Explainability **翻译后都是“可解释性”，但是之间还是有一些差异的。下面用一个例子来解释。（例子灵感来源于[2]）

区分 Interpretability 和 Explainability

假如大学的期末你很认真的准备了两个课程论文，第一篇是无线网络课程的论文“5G 带给我们什么？”第二篇新技术应用课程的论文“区块链技术应用”，都得到了 80 分，于是你想去找两个老师问一下原因。
无线网络老师告诉你：他对你选择 《5G 为远程医疗场景带来了希望》这个题目非常好，这确实是一个非常好的研究点，但是他认为你的论点没有充分体现 5G 的特点以及优越性。所以你很困惑，通过这些他是怎么给出你的 80 分的。然后你去找新技术应用课程老师。
新技术应用课程的老师没有评价你的文章，而是给了你一份详细的评分标准，你发现因为语法问题和引用不够 10 个，而被扣了 30 分。再加上平时分加权后你只得到了 80 分。但是你还是不满意，为什么缺少一个引用就扣 5 分，语法问题扣 10 分，以及平时分的权重为什么这样设置？这些得分是怎么确定的？
其中无线网络老师做的事情类似于 Explainability ，你得到了老师对你分数的解释，其中提供了一些关于决策过程的细节，你可以看到你论文的优点和缺点，但是你并不知道这些优点和缺点如何映射到你的确切成绩上的，你也不知道你的优点给你加了多少分，你的缺点扣了你多少分。如果让你来给其他同学的文章评分你也无法确定该给他多少分。explainability AI 通常具有相同的优点和缺点——很难知道结果是如何得到的，但是你大致知道是为什么。
而新技术应用老师更像 **Interpretability **，你可以从结果中看到成绩的计算方式，如果你拿到了别人的论文，你可以按照这个评分标准，得到和老师一样的打分。但是你也不知道这个评分标准是从哪里来的，以及这个评分标准是否合理，评分标准没有提供这些解释。
引用 [2] 中一个很好的句子：

Explanations are precisely what strictly Interpretable AI lacks. It’s very easy to see how the algorithm arrived at its conclusion but not why each step of the decision process was created.

即，Explanations 恰恰是严格意义的 **Interpretability AI **所缺乏的。得到一个评分标准是很容易的，但不知道每一个评分点是为什么被创建的。

下面就是 XAI 是怎么使用的，在哪些地方可以应用 XAI，我会在下一篇博客进行分析，以近期的一篇 CCB 文章“Network traffic classification based on federated semi-supervised learning”为例。

参考文献

[1] Intepretability vs. Explainability — AI Collective
[2] Explainable vs Interpretable AI: An Intuitive Example