Coupled Attribute Learning for Heterogeneous Face Recognition阅读笔记

2020 IEEE
Decheng Liu, Xinbo Gao , Senior Member, IEEE, Nannan Wang

一、简介

现有的基于属性的方法大多只探索人脸属性特征与传统人脸特征的融合。这些方法的缺点是只把人脸属性看作高级特征，而忽略了识别中人的身份和人脸属性之间的内在联系。本文旨在直接有效地利用人类身份与人脸属性之间的关系来消除属性估计错误的缺陷。

受现实世界中人类认知机制的启发，即显著属性有助于记忆和识别人脸，我们提出了我们设计的模型CAL-HFR，直接整合了主体的属性和身份之间的关系。

二、模型结构

我们使用具有多任务架构的预训练属性评估网络，以三元组的形式为照片图像提供区别性属性信息。

在识别阶段，欧几里德距离测量合成草图和图库照片之间的差异。

Coupled Attribute Guided Triplet Loss（CAGTL）：

又称耦合属性引导的三元组损失，是由身份和人脸属性的内在双边关系设计的。

由于不正确的属性预测会对匹配产生不利影响，为了消除属性预测的负面影响，我们提出了如下的CAGTL。

由于有限的异构人脸图像源，我们将大量三联体与识别任务中的探针草图和图库照片结合起来，尝试构造更多的训练数据来提高模型的泛化能力。

Representation Extraction Network（特征表示提取网络）：

输入224×224的图像（即一张草图、一张正照片和一张负照片），分别提取128维的特征。该网络进行模型预训练，以确保异构人脸图像可以映射到一个公共空间，这有效地弥合了不同模态之间的差距。

训练的是该网络。

Attribute Evaluation Network（属性评价网络）：

使用CelebA数据集预处理。CelebA数据集中每张图像具有40个二进制属性估计。

该网络使用了4个二进制属性融合估计。

该预处理后的属性评估网络仅用于提供输入人脸照片的属性相似度分数，不需要在训练阶段进行更新。

现有的方法大多需要手工标注很多人脸照片属性作为训练集，耗费了大量的劳动力。我们提出了CAL-HFR，它不需要手动标记人脸照片，而是自动属性评估。

三、损失函数

四、实验

Attribute Evaluation Network的影响：

图1显示了所提出的二元属性预测结果的一些例子，两个值分别表示不戴眼镜和戴眼镜的概率。实验表明该网络具有一定的鲁棒性，但是也有不理想的结果。

图2蓝虚线表示手动标注属性信息，粉色实线表示CAGTL，可以发现手动标注属性的方法比没有手动标注属性的方法的准确率高了一点点，但省去了手动标注的大量繁忙工作。同时证明了CAGTL算法能够有效地消除评估误差的不利影响。

属性融合的影响：

提供的人脸属性越详细，识别准确率越高。

UOM-SGFSSET A DATABASE：

UOM-SGFSSET B DATABASE：