机器学习可解释性

机器学习可解释性

背景

2017年国务院发布的《新一代人工智能发展规划》中明确了人工智能基础理论的研究方向。针对人工智能变革方向，高级机器学习理论重点要突破自适应学习、自主学习等理论方法，实现具备高可解释性、强泛化能力的人工智能。

高级机器学习理论。洋酒统计学习理论基础、不确定性推理与决策、分布式学习与交互、隐私保护学习、小样本学习、深度强化学习、无监督学习、半监督学习、主动学习等学习理论和高效模型。

ICML 2017年最佳论文：Understanding Black-Box Predictions via Influence Functions以及NIPS 2017年最佳论文A Linear-Time Kernel Goodness-of-Fit Test与可解释性有着紧密的关联。

除了树类等模型本身就具备一定的可解释性外，深度学习最大的弊端就是黑箱模型。黑箱模型又称经验模型，不能适应有不可测输入的过程、不能反映过程内部的运动规律。

在建立黑箱模型后，我们并不能确定模型学习到了何种信息。而可解释性Interpretability就是为了将模型学习到的信息以人类能够直观理解的方式展现出来，能够让人们观察到过程内部的运动规律。

图片来源：
https://www.cnblogs.com/ifzh/p/9b695df487eb26670ff35d0ff8ef63b6.html

可解释性的研究可以帮助我们更好的训练模型

在模型拟合的过程中，某些特征可能由于数据收集的连带性被带入的模型之中，并且对模型的精度有正向的影响。然而现实意义上，该特征或者说信息并不是区别目标变量的主要因素。

有个例子：

一个判断图像总哪些是狼哪些是哈士奇的图像分类任务，这个任务错误地将一只哈士奇当作了狼。这是因为在训练数据中，狼的图片大部分背景是雪地，而分类算法学习到了特征，而忽略了学习狼与哈士奇本身的特征，这就造成了达成任务的方法与目的不一致的现象，仅仅基于分类结果，我们是很难发现这样的错误的。

图片来源：
https://mp.ofweek.com/ai/a656714230077