初识FaceChain

---

前言

FaceChain 是阿里达摩院开源的一个功能上近似“秒鸭相机”的项目。顾名思义，FaceChain就是对人脸（face）做一连串（chain）的处理。该开源项目正在高速发展的阶段，目前已经支持人物形象训练、无限风格形象写真、固定模板形象写真功能。用户只需上传1-10张照片就能生成自己的数字孪生形象，免费体验两种基模型提供的几十种风格！

---

FaceChain:A Playground for Identity-Preserving Portrait Generation

论文: https://arxiv.org/abs/2308.14256
代码: https://github.com/modelscope/facechain
魔搭体验：https://www.modelscope.cn/studios/CVstudio/cv_human_portrait/summary
huggingface体验：https://huggingface.co/spaces/modelscope/FaceChain
视频介绍：https://www.bilibili.com/video/BV12x4y1f7Ga

一、论文浅尝

背景

FaceChain 认为，当前预训练的文本到图像模型在从肖像图像集合中学习身份信息方面具有有趣的能力，但现有解决方案在产生真实的细节方面通常存在以下缺陷，例如：

• 生成的人脸具有自己独特的特征，面部形状和面部特征定位可能与输入的关键特征不相似；
• 合成的人脸可能包含扭曲，模糊或损坏的区域。
  为此，FaceChain 提出了一个创新的个性化肖像生成技术框架，它结合了一系列定制图像生成模型和丰富的面部相关感知理解模型（例如：人脸检测，深度人脸嵌入提取和面部属性识别)，以解决上述挑战并生成真实的个性化肖像，只有少数人像图像作为输入。具体地说，将几个 SOTA 人脸模型注入到生成过程中，与之前的解决方案或其他仅使用 lora 的方法相比，实现了更有效的标签标记、数据处理和模型后处理。由此，FaceChain 确定了几个潜在的方向来加速以人脸/人类为中心的 AIGC 研究和应用的发展。

方法

训练阶段

输入：用户上传的包含清晰人脸区域的图像

输出：人脸LoRA模型

描述：首先，我们分别使用基于朝向判断的图像旋转模型，以及基于人脸检测和关键点模型的人脸精细化旋转方法处理用户上传图像，得到包含正向人脸的图像；接下来，我们使用人体解析模型和人像美肤模型，以获得高质量的人脸训练图像；随后，我们使用人脸属性模型和文本标注模型，结合标签后处理方法，产生训练图像的精细化标签；最后，我们使用上述图像和标签数据微调Stable Diffusion模型得到人脸LoRA模型。

推断阶段

输入：训练阶段用户上传图像，预设的用于生成个人写真的输入提示词

输出：个人写真图像

描述：首先，我们将人脸LoRA模型和风格LoRA模型的权重融合到Stable Diffusion模型中；接下来，我们使用Stable Diffusion模型的文生图功能，基于预设的输入提示词初步生成个人写真图像；随后，我们使用人脸融合模型进一步改善上述写真图像的人脸细节，其中用于融合的模板人脸通过人脸质量评估模型在训练图像中挑选；最后，我们使用人脸识别模型计算生成的写真图像与模板人脸的相似度，以此对写真图像进行排序，并输出排名靠前的个人写真图像作为最终输出结果。

---

试玩结果

![在这里插入图片描述](https://img-blog.csdnimg.cn/6815e496e575476aa0e5eb8f63fc4a96.png