评价与量化CNN的各个卷积窗对于分类结果的贡献（论文解读）

引用：Xu, H., Chen, Y., Lin, R., & Kuo, C. (2018). Understanding convolutional neural networks via discriminant feature analysis. APSIPA Transactions on Signal and Information Processing, 7, E20. doi:10.1017/ATSIP.2018.24

本文引入了一些量化方式来分析CNN中的各层卷积窗对于最终分类结果的辨识能力，用作分析的网络为Fast-RCNN-CaffeNet。即Fast-RCNN的图像分类部分，卷积部分结构与CaffeNet类似。

摘要

概括：这篇文章采用两种方法来分析CNN不同层提取出的特征。首先，从数学角度上显示高斯混淆度量（Gaissian confusion measure, GCM）可以量化单一特征的分辨能力（discriminative ability）。然后，将这个概念推广，引入簇纯度度量（cluster purity measure，CPM）来量化多个特征的联合分辨能力。最后，比较不同CNN结构下训练的特征，以解释更深层网络的优越性。

正文

为了训练一个能够用作物体识别的CNN，显然我们需要将带有目标物体的图片作为训练数据进行训练。在第一层中，卷积层提取的是低阶的特征。随着不断进行池化，层数越深，卷积层能够提取的信息就越具有辨识性。
根据CaffeNet的结构，其第五层的卷积窗个数为256个。给定一个ROI区域，在五层卷积输出后，我们可以取得一个256*13*13的特征。对于每一个卷积窗，将其13*13的输出响应求取最大值，就可以将256*13*13的特征图化为一个256维的向量。向量的每一个值即为对应滤波器的响应值。

（1）高斯混淆度量

该度量可以量化单一卷积窗的分辨能力。
假定某一给定类别$c$，拥有N个测试数据， 其中包括正例数据（属于类别$c$）以及反例数据（不属于类别$c$）。
对于一个给定测试样本$(\overrightarrow{x_i},y_i)$，其中$\overrightarrow{x_i}$为ROI，$y_i$为标签。那么对于第$i$个样本，在第$k$个卷积层的第$j$个卷积窗的响应值可以表示为$F_i(f_{kj})$。
为了得出高斯混淆度量的值，我们需要得出在$c$类下，正样本与负样本响应值的均值与标准差。给定一个卷积窗$f_{kj}$，其正样本的均值与标准差为：
m 0 ( f k j , c ) = 1 N 0 ∑ ∀ i , s . t . y i = c F