热力图 神经网络_神经网络的可解释性研究现状

近年来，深度学习系统的解释方法已引起人们的广泛关注。现有的深度神经网络可解释方法主要分为基于数据的方法和基于模型的方法。基于数据的可解释性分析方法中最典型的是可视化方法。可视化方法主要通过可视化工具将数据中的重要部分进行标注，将学习过程与原始数据结合起来，进而帮助我们直观地理解深度学习的学习过程。例如，塞尔瓦拉朱(Selvaraju)等人使用了可视化方法，通过对卷积层的梯度生成热力图，对输入图像中的重要像素进行显示和标注，帮助我们理解深度学习的学习区域；欧拉(Olah)等人则使用了特征可视化的方法，对神经元学习到的内容进行可视化。这些可视化方法让人们对神经网络的内在机理有了直接印象，但是由于这类方法无法深人了解模型内部结构，难以对模型决策逻辑进行直接解释，因此对于神经网络的黑盒问题并没有实质性地解决。

基于模型的可解释性分析方法主要分为代理模型和自动特征提取两种。代理模型方法是通过构建新的模型以模拟黑盒模型的输入和输出，通过该代理模型来理解原黑盒模型，比较典型的有里贝罗(Ribeiro)等人提出的基于模型无关的局部可解释性描述(Local Interpretable Model-Agnostic Explanations，LIME)的线性代理模型。自动特征提取则是另一种研究深度学习系统可解释性的方法，其主要通过对输入、输出以及模型内部元素的关系进行研究，进而分析解释其决策逻辑。具体有通过对各层、各神经元使用if-then规则进行自动特征提取的KT方法，使用采样进行自动特征提取的方法，以及通过连接权、偏导、输入变量的改变来判断输入变量重要程度的敏感性分析方法等。尽管这些方法能对现有神经网络的决策逻辑进行一定的分析，但是无法直接构建可解释性的神经网络。

基于数据的可解释分析方法虽然能对神经网络的决策逻辑提供直观的印象，但是很难指导我们进行有目的的建模。而基于模型的可解释分析方法虽然在一定程度上对可解释性有所帮助，但是仍然很难帮助我们解决深度学习系统难以判读的问题。所以寻找一种新的能同时拥有可判读和可理解两大特要性，并可直接构建新的神经网络的方法成为了解决深度学习智能系统安全的核心问题之一。