A Parametric Study of Deep Perceptual Model on Visible to Thermal Face Recognition阅读笔记

发布于2018年。

1 动机

• 照明/照明变化会导致显著的视觉外观变化，并在很大程度上降低人脸识别性能。而红外线面部不受光照的影响。这些特点使得红外人脸识别在夜间监控应用或需要隐私保护的门禁系统中具有很大的潜力。
• 红外人脸识别的目标是通过寻找在可见光(通常是较高分辨率)中捕获的最相似的人脸图像来识别在红外光谱中捕获的人。是一个跨模态匹配问题，需要从红外光谱到可见光光谱的非线性映射，同时保持身份信息。
• 红外图像可以根据探测到的波长进行分类。近红外（NIR）和SWIR（短波红外）是基于光反射的，它们的视觉外观类似于可见光图像。中波红外线（MWIR）和长波（LWIR）依赖于材料的发射率和温度，可见光谱和红外光谱之间的差距巨大。

2 DPM整体框架

• DPM就是给两种模态找到合适的非线性映射。将VIS图像和LWIR图像输入到特征提取网络中，然后将VIS特征通过深度预测模型（DPM）转换成类似于LWIR图像的特征。
• 数据处理（Feature Extraction）也是很关键的一步。这里使用了传统的图像特征提取手段SIFT。
  
• 提取出128维的SIFT特征，a和c的特征分布差距很大，这可以证明两个模态之间存在较大差异，而a特征经过DPM后，得到b特征，b和c的特征分布很相似。

3 实验

3.1 数据集

• the Nagoya University(NU) database：一共180个日本人（169位男性和11位女性），其中每个人捕获5个热图像和可见图像。

3.2 测试

• 将180个人分为两个部分，即160个人和20个人。第一部分中的160人平均分为16组，即每组10人。在这16个组中，选择了15个组来构建DPM。剩下的由10个人组成的组构成测试集。在测试集中另外加20个人的图像，以增加候选身份的数量，即增加噪音。
  
• DPM结构。
  
• 不同特征提取方法对DPM准确率的影响。
  
• 不同尺度的特征对DPM的影响。
  
• 不同训练集和测试集噪声对DPM的影响。
• 
• （1）训练数据和测试数据都不包括戴眼镜的图像。 （2）训练数据不包括戴眼镜的图像，而测试数据包括戴眼镜的图像。 （3）训练数据和测试数据都包括戴眼镜的图像。
• 热面部图像的强度对比度相对较弱，因此可以提取较弱的SIFT描述子。在这种情况下，眼镜通常会出现清晰的角或边界，并可能传达更多线索供我们进行识别。