论文阅读笔记 | AI-KD: Towards Alignment Invariant Face IQA Using Knowledge Distillation

本文链接：https://blog.csdn.net/weixin_44043952/article/details/139246108

文章目录

文章链接：https://doi.org/10.48550/arXiv.2404.09555
代码链接：https://github.com/LSIbabnikz/AI-KD

文章题目

AI-KD: Towards Alignment Invariant Face Image Quality Assessment Using Knowledge Distillation

发表年限

2024

期刊/会议名称

IEEE International Workshop on Biometrics and Forensics (IWBF) 2024

论文简要

为了解决对齐技术发生变化导致的大多数现有FIQA技术的性能迅速变得不理想的问题，作者在本文中提出了一种新颖的知识蒸馏方法，称为AI-KD。AI-KD 依赖于知识蒸馏，该过程结合了简单的图像变换，模仿不同对齐方法生成的样本之间的轻微变化。它可以扩展到任何现有的FIQA技术，提升其对对齐变化的鲁棒性，从而在不同对齐程序下提升性能。
为了验证所提出的蒸馏方法，作者在6个面部数据集上与4个最新的面部识别模型进行了综合实验，并与7种最先进的FIQA技术进行了比较。结果表明，AI-KD不仅在错位样本上，而且在正确对齐的面部图像上，均能一致地提高初始FIQA技术的性能。此外，当与具有竞争力的初始FIQA方法结合使用时，它可以达到新的最先进水平。

动机

面部图像质量评估 (FIQA) 技术需要正确对齐的输入样本以达到最佳性能，从而限制了推理过程中使用的关键点检测算法的选择。
这种对齐敏感性来自于大多数FIQA技术是使用特定的面部对齐过程进行训练或设计的。如果对齐技术发生变化，大多数现有FIQA技术的性能会迅速变得不理想。
尽管大多数关键点检测器都能实现高精度，但它们的预测通常会有几个像素的差异，这足以对现有 FIQA 技术的性能产生不利影响。

主要思想或方法架构

在这里插入图片描述

在预处理步骤中，使用选定的地标检测器D从所有N个样本¨xi中提取面部关键点kptsi，使得kptsi = D(¨xi)。
提取的关键点kptsi包括左眼和右眼的坐标、鼻子尖端和嘴唇的角落，可以用于通过将这些坐标与预定义模板进行匹配，从而正确对齐¨xi，得到一个正确对齐的样本xi。
此外，还针对所有N个样本¨xi使用选定的FIQA技术计算伪质量标签qi，使得qi = Q(xi)。

训练过程包括两个主要步骤：
- 样本转换步骤
- 实际的知识蒸馏
样本转换步骤生成具有不同对齐方式的样本，而知识蒸馏步骤将伪质量标签中编码的知识传输到学生模型中。
在样本转换步骤中，初始的人脸样本¨xi被用来生成一个正确对齐的样本xi和一个不正确对齐的样本ˆxi。正确对齐的样本xi是通过根据kptsi进行对齐生成的，而ˆxi旨在复制由未知的人脸地标检测器产生的对齐。任何良好运行的人脸地标检测方法的预测地标将近似于基准地标kptsi。
基于这个假设，作者随机在kptsi的参考坐标周围抽样，生成新的地标ˆkptsi对应于未知方法Dˆ。形式上，这可以写为：
其中U[−p,p]是从区间[−p, p]中抽样的均匀随机变量。这意味着两个地标（初始和扰动后）之间的所有坐标最多相差p像素。
在知识蒸馏步骤中，教师模型Mt在整个训练过程中被冻结，而学生模型Ms ◦ MLP的参数则使用专门的蒸馏目标进行优化。正确对齐的样本xi通过冻结的教师模型Mt，产生输入样本的特征表示ei = Mt(xi)。计算得到的表示ei和相应的伪质量标签qi共同表示了学生模型（Ms ◦ MLP）的回归目标。
为了能够为蒸馏过程定义损失，不正确对齐的样本ˆxi通过Ms进行处理，产生不正确对齐样本的特征表示ˆei。计算得到的表示ˆei然后通过一个MLP进一步处理，生成预测的质量标签ˆqi。
在这里，表示损失旨在使ˆxi和xi的表示对齐：
质量损失旨在确保原始的和预测的质量分数尽可能接近，即：