机器学习模型Interpretability和Explainability之间的区别

1 引言

尽管Interpretability和Explainability都被翻译成“可解释性”，但在机器学习领域，这是两个相关但又截然不同的概念。

本文回答以下问题：

• 如何区分Interpretability和Explainability
• 为什么机器学习需要Interpretability或Explainability
• 怎么提高机器学习模型的Interpretability
• 增加模型的复杂度能提高Interpretability吗

2 如何区分Interpretability和Explainability

Interpretability 与机器学习模型将原因和结果联系起来的准确性有关，指在机器学习可以观察到系统中因果关系（先验推导）的程度。

Explainability与隐藏在深层网络中的参数证明结果的能力有关，是指机器学习的内部机制可以用人类语言解释（后验解释）的程度。

因此，可以这样区分：

Interpretability: 模型可解释性；内部可解释性
Explainability: 决策可解释性；输出可解释性

Interpretable ML – 使用的不是黑箱模型
Explainable ML – 使用黑箱模型并解释

2 为什么机器学习需要Interpretability或Explainability

可解释机器学习的优势主要体现在高风险决策上。尽管技术可能会被故意用于有害的用途，但它还有很多方式会产生糟糕的、歧视性的、无意造成伤害的结果。

随着人工智能和深度学习系统在医疗保健等领域的广泛应用，人工智能的问责制和透明度问题尤为重要，例如，预测某个流域是否会爆发山洪，涉及到巨大的生命和财产安全，决策部门就需要重新考虑人工智能预测结果的可靠性。如果我们不能在算法中提供更好的模型可解释性，并最终提供输出可解释性，人工智能将始终不被信赖。

除了需要考虑法律和专业因素外，即使在风险更小的业务场景中，提高可解释性和可解释性也很重要。了解算法的实际工作方式有助于更好地将促进相关领域的科学知识的发现。

3 怎么提高机器学习模型的Interpretability

虽然对于数据科学家来说，透明度和伦理问题可能很抽象，但可以做一些实际的事情来提高算法的内部可解释性和输出可解释性。

Algorithmic generalization

提高算法的泛化能力，听起来很简单，但并不那么容易。当你认为大多数机器学习工程是以一种非常特定的方式应用算法来揭示特定的预期结果时，模型本身就像是一个次要元素——它只是达到目的的一种手段。然而，通过转变这种态度，考虑算法的整体健康状况以及运行算法的数据，可以为提高可解释性奠定坚实的基础。

Pay attention to feature importance

注意特征的重要性是很明显，但很容易被忽略的方式。仔细研究模型的各种输入特征的重要性，是实际处理各种问题的常用方法。讨论每个特征是否应该输入，是朝着模型可解释性和输出可解释性迈进的重要一步。

LIME: Local Interpretable Model-Agnostic Explanations

LIME是研究人员开发的一种实用方法，用于提高算法内部计算过程的透明度。LIME可以“通过在预测的周围局部学习可解释模型，以可解释和忠实的方式解释任何分类器的预测”。

LIME模型通过测试来产生模型的近似值，以查看当模型中的某些方面被更改时会发生什么。从本质上讲，这是关于尝试通过实验过程从相同的输入中重新创建输出。

DeepLIFT (Deep Learning Important Features)

DeepLIFT是一个有用的模型，通过一种反向传播的形式工作；它获取输出，然后试图通过“读取”产生原始输出的各种神经元来将其分开。

顾名思义，这本质上是一种深入算法内部特征选择的方法。

Layer-wise relevance propagation

分层相关性传播类似于DeepLIFT，它从输出向后工作，识别神经网络中最相关的神经元，直到返回到输入(例如，一张图像)。

4 增加复杂性以解决复杂性：它能提高透明度吗

Interpretability或Explainability的核心问题是，在开发过程中增加了额外的步骤。从某种角度来看，这看起来像是试图用更大的复杂性来解决复杂性。

在某种程度上，这是正确的。这在实践中意味着，如果我们真的要认真对待Interpretability或Explainability，就需要在数据科学和工程的完成方式以及人们认为应该如何完成的方式上进行更广泛的文化变革。

这也许才是真正具有挑战性的部分。

参考文献

[1]https://www.kdnuggets.com/2018/12/machine-learning-explainability-interpretability-ai.html
[2]https://www.bmc.com/blogs/machine-learning-interpretability-vs-explainability/
[3]https://statmodeling.stat.columbia.edu/2018/10/30/explainable-ml-versus-interpretable-ml/
[4]https://christophm.github.io/interpretable-ml-book/
[5]https://www.nature.com/articles/s42256-019-0048-x