用深度变分信息瓶颈方法解释黑盒子

Perspective From Information Bottleneck Principle

信息瓶颈原理(Tishby, Pereira, and Bialek 2000)通过定义我们所谓的“好的”表示，为学习监督模型提供了一个有吸引力的信息理论观点。其原理是，最优模型通过压缩表示t(称为信息瓶颈)将尽可能多的信息从输入x传递到输出y。
表示t是随机定义的，最优随机映射$p(t|x)$是通过利用马尔可夫链假设 $y\to x\to t$:
$$p(\mathbf{t}\mid \mathbf{x})=\underset{p(\mathbf{t}\mid \mathbf{x}),p(\mathbf{y}\mid \mathbf{t}),p(\mathbf{t})}{\mathrm{argmax}}\mathrm{I}(\mathbf{t},\mathbf{y})-\beta \mathrm{I}(\mathbf{x},\mathbf{t})-----(1)$$
其中$I(.,.)$是互信息，$\beta$为拉格朗日乘数，表示压缩性 $-I(x,t)$和t表示的信息量$I(t,y)$之间的权衡。我们采用信息瓶颈原则作为寻找简明而全面的解释的标准。我们的目标是学习一个解释器，它能生成关于黑箱决策的最大信息量的解释，同时压缩给定输入。

Proposed Method

VIBI，这是一种系统无关的解释方法，它为黑盒决策系统做出的决策提供了简短而全面的解释。为了实现这一点，我们优化了以下信息瓶颈目标。
$$p(z|x)=\arg {\mathrm{smax}}_{(z|x),p(y|t)}(t,y)-\beta I(x,t)-----（2）$$
$I(t,y)$表示为解释黑箱输出y而保留的信息的充分性，$-I(x,t)$表示解释t的简洁性，$\beta$为权衡两者之间的拉格朗日乘数。我们的信息瓶颈目标函数(2)与(Tishby, Pereira, and Bialek 2000)的主要区别如下: 后者的目标是识别t表示的信息瓶颈的随机映射，而我们的目标是识别执行认知块实例选择的z的随机映射，并将信息瓶颈定义为z和输入x的函数。

如图1A所示，VIBI由两部分组成: 解释器和近似器，每一个都是采用深度神经网络建模。解释器选择给定实例的一组k个键的认知块，而近似器使用所选的键作为输入来模拟黑盒系统的行为。k控制z的稀疏程度。具体来说，解释器$p(z|x;{\theta }_e)$从输入x到其归属分数$p_j(x)=p(z_j|x)$的映射，其中j为第j个认知块，$z_j$为是否选择该块的二元指标。归因得分表示每个认知块被选择的概率。为了选择前k个认知块作为解释，从类别概率$p_j(x)=p(z_j|x)$的分类分布中抽样k-hot向量z，当$z_j=1$ 时选择第j个认知块。具体来说，解释t的定义如下:
$$t_i=(x\odot z{)}_i=x_i\times z_j$$
其中j表示一个认知块，每个认知块对应多个行特征i。采用另一种深度神经网络