Subclass Heterogeneity Aware Loss for Cross-Spectral Cross-Resolution Face Recognition阅读笔记

2020 IEEE
Soumyadeep Ghosh; Richa Singh; Mayank Vatsa

一、简介

我们提出了一个子类异构感知损失(SHEAL)来训练一个深度卷积神经网络模型，使得它产生适用于异构人脸识别的嵌入，包括单个和多个异构。

为了解决存在多种协变量(如交叉光谱和交叉分辨率)的情况下匹配图像。

二、损失函数

SHEAL（Subclass Heterogeneity Aware Loss）：

单个协变量的SHEAL：

H表示高分辨率图片；

L表示低分辨率图片；

X的下标表示身份。

多个协变量的SHEA：

为了适应交叉分辨率和交叉光谱的变化，提出的损失函数由两个交叉视图组成，因此需要四个独立的项。第一项负责同类匹配场景，接下来的两项分别用于跨分辨率和跨光谱匹配，最后一项用于跨光谱跨分辨率匹配。

前一部分最小化类内差距，后一部分最大化类间差距；

gc表示i身份的所有特征嵌入的平均值。

前一部分缩短相同身份的图像中心嵌入特征和低分辨率嵌入特征之间的距离；

后一部分最大化可见光谱中另一个对象k的中心嵌入和低分辨率之间的类间距离。

基于子类的聚类优化：

包含特定对象的图像嵌入的每个聚类中，各个对象的高质量图像(高分辨率可见光谱)的嵌入预期彼此非常接近。另一方面，不同于高质量图像(即低分辨率和近红外)的图像预计在同一聚类中更远。在这种假设下，每个聚类预期包含两个子类，一个代表高质量图像(同类)，另一个代表异类图像。优化阶段通过将这两个子类彼此靠近来创建更紧凑的集群。

c1表示高质量图片（高分辨率+VIS）；

c2表示低分辨率以及NIR图片；

第一项使得同质图像的嵌入更接近于模型的输出嵌入空间。

第二项使异质图像的嵌入更加紧密，从而使异质图像的子类(低分辨率和近红外)更加紧凑。

第三项使集群的两个子类的中心相互靠近。在这个聚类优化阶段结束时，期望每个类的所有图像(异构和同构)必须组成一个紧凑的聚类，从而增强训练模型的异构匹配性能。

三、实施细节

使用Light-CNN-29提取嵌入特征，大小为256。

每个训练样本由一个8元组表示，每次随机构成500个8元组的集合进行一次迭代训练。训练使用上述两个损失函数先后训练。

四、实验

CASIA NIR-VIS 2.0：