Interpretable CNNs for Object Classification 研读

摘要：
在分类任务中，本文提出一个在深度神经网络中学习可解释性CNN的方法。在此方法中，在深层的可解释性CNN中，每个核可以解码目标的特定部件。我们使用常规数据集，不需要对数据额外的标注或者提供纹理信息作为监督训练。我们的方法在学习过程中，能够自动对高层卷积网络的每个核分配一个目标部件类别。可解释性CNN中，显性知识表示可以帮助人们理解CNN的内部逻辑结构，即对于一张输入图像CNN提取的什么模式用来预测。实验表示，可解释性卷积网络比传统卷积更加有语义意义。
背景
几年来，卷积网络在不同的领域中都取得很优异的成就，例如在分类，检测。尽管具有很优异的效果，一直以来深度神经网络被当做是一种具有很弱特征解释的黑盒子。提高深度学习模型特征解释逐渐受到人们关注，但是对于最先进的算法也是一项有意义的挑战。
什么是可解释性CNN：
定义：
不增加额外的注释作为监督，修改一个CNN，使其高层能够唯一解码激活目标特定一个部件，这个修改的cnn就是可解释性cnn。

具体例子：

通过可视化可解释性卷积和常规卷积，我们可以看出，常规CNN中，一个高层卷积核通常描述一个混合的模式，即过滤器可能被猫的头部和腿部同时激活，比如上图中第二行，一个卷积核同时激活了脸和腿的部件，可解释cnn中，一个卷积核只会激活一个目标部件，我们可以明确的识别出CNN中哪些对象部分被记忆下来进行分类。

总之，可解释CNN满足以下属性：
① 不需要对目标部件做标注，使用传统训练集训练。
② 在分类任务中，不更改loss函数，它可广泛应用于不同结构，不同基准的CNNs中。
③ 学习目标部件的严格表示可能会对辨别能力造成一点伤害。但是，我们需要把精度下降控制在一个小范围内。
实现可解释性CNN的方法：

对高卷积层的每个filter产生的feature map 添加loss，就构成了可解释CNN。每个filter必须编码一个单独的目标部件（鸟头鸟尾巴），filter loss将filter 推向特定目标部件的表达。
算法：
对于一张输入图像，我们希望一个类别的特定部件被一个卷积核激活，而图像中的其他类别不被这个卷积核激活。我们实现的操作是在经过卷积核f卷积再ReLU激活处理之后形成的feature map 之后再加上一个loss,我们记做Lossf。这个卷积核损失Lossf使得这个卷积核f只对图中特定类别的特定部件起作用，对图中其他类别的其他部件沉默。

因为不能给类别手动分配卷积核，所以，我们借用消极模板分配卷积核。
filter x和模板T之间的契合度用条件似然p(x|T)测量：

filter的loss表示为filter（X）和mask（T）之间的交互信息。
3.1 部件位置&mask层

3.2 学习
我们端到端训练可解释性cnn，前向传播很传统cnn一样，都是卷积核都是自底而上的传输，在后向传播中，在可解释层中的每个卷积核除了接收梯度损失还需要接收这个卷积核本身的损失，所以总的损失如下：

3.3 理解卷积核loss
可以被改写成：

这个式子是用来约束内间激活，也就是说，一个学习很好的卷积核，需要只对特定类别激活，而对别的类别沉默。我们可以使用用卷积核f激活的特征图x去判定输入图像是否属于类别c.
② 低空间熵

这个式子是约束空间分布，就是说，一个学习很好的卷积核应该只激活特征图x上单一的区域，而不会在不用区域重复活跃。
4，实验（论文一共17页，其中10页是实验）
传统cnn与可解释cnn可视化对比

4.1 实验
从二分类和多分类两个方向展开。
4.2 定量可视化卷积核

4.3 部件可解释的定量评估
4.3.1 评价指标：部件可解释性
4.3.2 评价指标：位置不稳定性

4.3.3 对比两种指标
4.3.4 对抗攻击的鲁棒性
4.3.5 实验结果和分析
4.4 卷积核loss的效果
4.4.1 语义纯度
4.4.2 可视化卷积核
4.4.3 位置不稳定性
4.4.4 Activation magnitudes

（未完待续。。。）