DeepMind&VGG提出基于集合的人脸识别算法GhostVLAD,精度远超IJB-B数据集state-of-the-art

转载自：https://mp.weixin.qq.com/s/R1hdkPTdFCo7JvOKNcEzJg

人脸识别应用中，很多场景能够获取某一个体的多幅人脸图像的集合（比如在监控视频中），使用人脸图像集来做识别，这个问题被称为基于模板的人脸识别（template-based face recognition）。

对于多幅图像，当然可以使用单幅人脸图像的识别方法，综合多幅图像的识别结果确定最终的人脸识别结果，但更好的方式是直接基于人脸图像集提取特征，比较人脸图像集的特征相似性。

这涉及到如何聚合多幅人脸图像的特征向量成为一个特征向量，使该特征紧凑而又

更具鉴别性的问题。

几天前公布的一篇来自DeepMind和VGG组被ACCV2018接收的论文《GhostVLAD for set-based face recognition》，正是解决这样的问题，文中提出的算法GhostVLAD在具有较高难度的大型真实场景人脸数据集IJB-B上的识别精度，远超过目前的state-of-the-art结果！非常值得参考！

 

 

多幅人脸图像（每次图像个数可不同）通过CNN网络提取特征并L2归一化，然后被送入聚合模块，GhostVLAD网络模块将多个人脸特征聚合称固定维数的特征矩阵（与输入图像个数无关），再通过全连接层FC、BN层和L2归一化为紧凑鉴别的特征。

 

其中的关键网络模块GhostVLAD既实现特征聚合，同时降低低质量图像的权重，提高高质量图像的聚合权重。

 

GhostVLAD是如何实现上述功效的呢？

 

说白了一句话，既然不要人为参与，那就要构建一种网络结构，让网络自动学习对识别不重要的信息，并丢掉它。

 

作者是在NetVLAD上做出的算法改进，NetVLAD可以理解为一种可微分完全可训练的VLAD编码聚合方法，它的作用大致是自动计算特征聚类中心，计算残差，然后把残差加权，构建聚合特征矩阵，整个过程方便加入到神经网络中。

该文从一个简单的直觉开始，构建了一种帮助神经网络丢弃鉴别性不足的信息的有效方式，大幅改进了基于图像集合的人脸识别方法，算法具有较高的实用价值，思想也很值得借鉴！

 

值得一提的是，该文中的GhostVLAD方法不仅仅适用于人脸识别，在图像检索、行人重识别等领域也同样适用。

 

论文地址：

https://arxiv.org/abs/1810.09951

关于代码：

可惜的是，该文目前并无开源代码，但DeepMind和VGG组都是一向乐于分享代码的，期待作者早日开源～