可解释的对抗训练网络模型：Interpreting Adversarially Trained Convolutional Neural Networks-ICML 2019

可解释的对抗训练网络：Interpreting Adversarially Trained Convolutional Neural Networks-ICML 2019

前言

最近在考虑做对抗样本可解释性方面的研究，之前没有接触过。今天要分享的这篇文章发表在ICML 2019上，我在实验室的组会中也进行了分享，因此接下来，将通过文字结合PPT的形式将内容分享给大家。

一.背景

1.1 可解释性

在叙述这篇论文之前，我们先理解一下模型的可解释性，什么意思呢？顾名思义，就是对模型进行一个合理化的解释。那么我们为什么需要这么做？现在随着人工智能的发展，越来越多的AI应用走进我们的生活一定是个趋势，但是很多时候啊，我们身边的AI处理的更多是一些无关紧要的事，或者是一些给生活增添乐趣的事，就比如天猫精灵，平日生活里互动互动，它偶尔出个错，我们也不会在意什么。但是，如果我们真的把一些重要的决定交给这些人工智能，这些机器的时候，你还能那么开心吗，还能放心嘛？当波音飞机忽略驾驶员的指令，决定义无反顾的冲向大地时，你紧不紧张？；当银行系统莫名其妙否决你的贷款申请的时候，你难不难过？；当自动化敌我识别武器系统决定将炮火开向你的时候，你还在吗？这个时候，我们内心深处最想问的一定是：它为什么这么做？有依据嘛？ 到这儿，我们应该就明白了模型的可解释性的重要性，它使得AI放心的进入我们的生活。

机器学习算法可以看成是黑盒子模型，训练数据流入黑盒子，训练出一个函数（这个函数也可以称之为模型），输入新的数据到该函数得出预测结果。关于模型的可解释性，就是要回答为什么的问题，如何解释该函数，它是如何预测的？

在机器学习的众多算法中，有的模型很难解释，例如深度神经网络。深度神经网络可以拟合高度复杂的数据，拥有海量的参数，但是如何解释这些非常困难。但是还是有相当一部分算法是可以比较容易的解释的。如：线性回归，决策树等。

可解释的模型的种类毕竟有限，我们希望能够找到一些方法，对任何的黑盒子机器学习模型提供解释。这里就需要和模型无关的方法了。如：替代模型，特征交互等。替代模型就是用一个可解释的更简单的模型，对于黑盒模型的输入和预测训练出一个替代品，用这个模型来解释复杂的黑盒模型。

除此之外，还有基于样本的模型解释。就比如我想要研究的对抗样本方向的可解释性问题，以及反事实解释，有影响的实例等。

<