CVPR2020 | 中科院VIPL实验室录取论文详解

编者按：近日，计算机视觉顶会 CVPR 2020 接收论文结果揭晓，从 6656 篇有效投稿中录取了 1470 篇论文，录取率约为 22%。中科院VIPL实验室共七篇论文录取，内容涉及弱监督语义分割、活体检测、手势识别、视觉问答、行人搜索、无监督领域自适应方法等方面，本文将予以详细介绍。

01

1. Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation (Yude Wang, Jie Zhang, Meina Kan, Shiguang Shan, Xilin Chen)

基于类别标签的弱监督语义分割作为一个具有挑战性的问题在近年来得到了深入的研究，而类别响应图（class activation map，简称CAM）始终是这一领域的基础方法。但是由于强监督与弱监督信号之间存在差异，由类别标签生成的CAM无法很好地贴合物体边界。

本文提出了一种自监督同变注意力机制（self-supervised equivariant attention mechanism，简称SEAM），利用自监督方法来弥补监督信号差异。在强监督语义分割的数据增广阶段，像素层级标注和输入图像需经过相同的仿射变换，自此这种同变性约束被隐式地包含，而这种约束在只有类别标签的CAM的训练过程中是缺失的。因此，我们利用经过不同仿射变换的图片得到的类别响应图本应满足的同变性来为网络训练提供自监督信号。除此之外，我们提出像素相关模块（pixel correlation module，简称PCM），通过发掘图像表观信息，利用相似像素的特征来修正当前像素的预测结果，从而增强CAM预测结果的一致性。我们的方法在PASCAL VOC 2012数据集上进行了充分的实验，验证了算法的有效性，并取得当前最好性能。

02

2. Single-Side Domain Generalization for Face Anti-Spoofing (Yunpei Jia, Jie Zhang, Shiguang Shan, Xilin Chen)

由于不同数据集之间存在差异，很多活体检测方法进行跨数据集测试时性能下降明显。现有的一些方法借用领域泛化的思想，利用多个已有的源域数据去训练模型，以得到一个领域不变的特征空间，从而在未知的目标域中进行测试时能利用学习到的通用判别特征，去提升模型的泛化性能。但是，由于不同数据集之间，攻击样本相对于正常样本存在更大的差异（比如说攻击方式的不同，攻击样本之间采集的环境差异），努力让这些攻击样本去学习一个领域不变的特征空间是比较困难的，通常会得到一个次优解，如下图左边所示。因此，针对这一个问题，我们提出来一个端到端的单边领域泛化框架，以进一步提升模型的性能。

其中主要思想在于，对于不同数据集中的正常样本，我们去学习一个领域不变的特征空间；但是对于不同数据集中的攻击样本，我们去学习一个具有分辨性的特征空间，使相同数据集中的攻击样本尽可能接近，而不同数据集中的攻击样本尽可能远离。最终效果会使攻击样本在特征空间中张成更大的区域，而正常样本仅仅处在一个紧凑的区域中，从而能够学习到一个对于正常样本包围更紧致的分类器，以达到在未知的目标域上更好的性能，如下图右边所示。

具体来说，我们引用一个域判别器，利用一种单边的对抗学习，让特征提取器仅仅对于正常样本提取更具有泛化性能的特征。并且，我们提出一个不均衡的三元组损失函数，让不同数据集之间的正常样本尽可能接近而攻击样本尽可能远离，以使得攻击样本在特征空间中张成一个更大的范围。同时，我们还引入了特征和参数归一化的思想，进一步地提升模型的性能。大量实验表明，我们提出的方法是有效的，并且在四个公开数据库上均达到了最优的性能。