Interpreting Super-Resolution Networks with Local Attribution Maps

• CVPR2021

1. 问题引入

• 主要针对的是深度模型的不可解释性，本文使用attribution analysis来分析输入的哪些像素对SR的结果贡献最大；
• 本文提出了Local Attribution Maps，是一种归因方法，延伸了path integral gradient method，在其基础上有两点改进，本文的结果显示involved input pixel越多SR的结果越好；

2. 方法

• 针对分类的归因方法总结：输入图像$I\in {\mathbb{R}}^d$，一个分类网络$S:{\mathbb{R}}^d\to \mathbb{R}$，归因方法得到attribution maps $Att{r}_S:{\mathbb{R}}^d\to {\mathbb{R}}^d$，尺寸和输入是一样的；最直观的方法是输出的类别对输入求导数来作为归因图$Gra{d}_S(I)=\frac{\partial S(I)}{\partial I}$，但是该方法存在saturation的问题，也就是梯度很小，无法指示重要特征；提出了输入和梯度的元素乘来解决saturation $I\odot \frac{\partial S(I)}{\partial I}$；还有方法提出Integrated Gradients(IG)方法$(I-I^{\prime })\cdot {\int }_0^1\frac{\partial S(I^{\prime }+\alpha (I-I^{\prime }))}{\partial I}d\alpha$，其中$I^{\prime }$是baseline input，类似于控制变量，假如要考虑某因素的影响，baseline input就不含该因素，作为对比；
• 设计针对SR模型归因分析方法需要考虑的方面：首先，分类网络解释的整张图范围对输出类别的影响，而SR网络的输出具有局部性；其次需要着重对SR的困难区域进行分析；最后分类网络使用输出的类别概率来计算梯度得到归因图，但是SR的输出是像素值，和图像的intensity相关，直接利用该信息求归因图，其值也和像素intensity相关，所以应该解释特征而不是像素值；
• 本文提出的Local Attribution Maps就是上面IG的升级版本，SR网络$F:{\mathbb{R}}^{h\times w}\to {\mathbb{R}}^{sh\times sw}$，缩放比例为$s$，按照上面描述的需要解决的问题，归因分析是通过attributing the existence of certain features of local patches in the output image完成的，位于$(x,y)$位置的$l\times l$的patch是否存在某特征通过$D_{xy}:{\mathbb{R}}^{l\times l}\to \mathbb{R}$来量化，本文使用的是gradient detector $D_{xy}(I)={\sum }_{i\in [x,x+l],j\in [y,y+l]}{\nabla }_{ij}I$来说明，baseline image $I^{\prime }$本文选取的是blur的图片，也就是去掉高频分量的LR $I^{\prime }=w(\sigma )\otimes I$，经过模糊卷积操作，本质上就是要求取$D(F(I))$的归因图，假设一个路径$\gamma (\alpha ):[0,1]\to {\mathbb{R}}^{h\times w},\gamma (0)=I^{\prime },\gamma (1)=I$；归因图一个元素的求取：$LA{M}_{F,D}(\gamma {)}_i:{\int }_0^1\frac{\partial D(F(\gamma (\alpha )))}{\partial \gamma (\alpha {)}_i}\times \frac{\partial \gamma (\alpha {)}_i}{\partial \alpha }d\alpha$；专门设计的progressive blurring path function ${\gamma }_{pb}(\alpha )=w(\sigma -\alpha \sigma )\otimes I$；最终求归因图的公式近似为:
  
  $m$是将积分用求和近似的步数