个性化面部年龄转换技术：MyTimeMachine-CSDN博客

本文链接：https://blog.csdn.net/weixin_44292902/article/details/144267663

叶梓老师前沿论文分享：个性化面部年龄转换技术MyTimeMachine

人工智能咨询培训老师叶梓转载标明出处

在数字媒体和娱乐产业中，面部年龄转换技术一直是热点研究领域，尤其是在电影和电视特效（VFX）中的应用。然而，现有的面部老化技术往往无法精确地预测个体的老化过程，导致生成的老化图像与目标年龄时的个人外观差异较大。为了解决这一问题，来自北卡罗来纳大学教堂山分校和马里兰大学学院公园分校的研究团队提出了一种名为MyTimeMachine（MyTM）的个性化面部年龄转换方法。该方法能够通过少量（约50张）跨越20至40年时间范围的个人照片，训练出一个人特定的老化模型，生成与目标年龄时用户面部特征极为相似的图像。

想要掌握如何将大模型的力量发挥到极致吗？叶老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具（限时免费）。

1小时实战课程，您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型，以发挥其最大潜力。

CSDN教学平台录播地址：https://edu.csdn.net/course/detail/39987

方法

SAM网络是MyTM技术的基石，它通过训练一个年龄编码器，将输入图像映射到StyleGAN的潜在空间中，并与目标年龄对齐。然后，通过预训练的StyleGAN处理这些潜在代码，生成年龄转换后的面部图像。SAM在FFHQ数据集上进行训练，其训练过程涉及到产生年龄转换输出，并由损失函数监督，以鼓励重新老化的图像与输入图像相似。

MyTM通过结合SAM和一个新的个性化年龄适配器网络来实现个性化的年龄转换。这个适配器网络基于个人的照片集合进行训练，能够更新由SAM产生的年龄转换潜在代码。这种方法允许MyTM将个人的个性化老化信息整合到全局老化轨迹中。图2展示了MyTM如何将一个70岁的人脸图像转换为30岁时的样子，同时保留输入图像的风格。这种个性化的适配器网络基于多层感知机（MLP）架构。

MyTM的适配器在个人照片集合上进行训练，引入了三种损失函数来整合全局先验与个人数据：个性化老化损失、外推正则化和自适应w-norm正则化。此外，还使用了基于SAM的损失函数来减轻全局先验的遗忘问题。

个性化老化损失鼓励转换后的面部特征与训练数据集中相似年龄范围的参考图像相似，从而鼓励重新老化的图像在忽略姿势、光线和风格变化的情况下，紧密地类似于该人在那个年龄时的外观。

外推正则化防止在目标年龄超出训练年龄范围时性能下降。我们应用经验回放，鼓励个性化年龄编码器的输出与预训练SAM产生的输出相似。

自适应w-norm正则化解决了SAM在不同年龄间难以捕捉独特面部特征变化的问题。这种正则化通过调整正则化强度来平衡潜在代码的编辑能力和身份保持。

这些损失函数共同作用，使得MyTM能够在保持个体身份的同时，实现高质量的个性化面部年龄转换。

实验

数据集：实验中使用了包含12位名人的图片数据集，这些名人年龄跨度广泛，性别和种族背景多样，包括白人、非裔美国人、西班牙裔和亚洲人。每位名人用于训练MyTM的图片数量为50张，测试时则使用同一名人40岁或70岁的图片，具体取决于实验框架中后续描述的任务。

实验框架：实验考虑了两个实际场景，即年龄回退（de-aging）和年龄前进（aging）。年龄回退在电影和电视特效中广泛使用，实验中通过训练30至70岁或50至70岁年龄范围的图片来个性化老化模型，并在70岁的图片上评估年龄回退性能，目标年龄atgt小于等于70岁。年龄前进用于法医学调查、寻找失踪人员或作为情感支持工具来可视化逝去的亲人，实验中通过训练20至40岁年龄范围的图片来个性化老化模型，并在40岁的图片上评估年龄前进性能，目标年龄atgt大于等于40岁。

顶尖年龄转换算法：MyTM与其他顶尖的年龄转换方法进行了比较，包括SAM、CUSP、AgeTransGAN和FADING。这些算法在年龄转换方面各有特点，但MyTM在细粒度控制和个性化方面表现更优。

评估指标：实验通过年龄准确性（AgeMAE）和身份保持（IDsim）两个指标来量化评估年龄转换结果。AgeMAE衡量预测年龄与目标年龄之间的平均绝对误差，而IDsim则通过与目标年龄附近参考图像集的相似度来评估身份保持，而不是简单地与输入图像比较。