[ComfyUI]PhotoMakerV2来袭：腾讯开源无需LoRA训练秒级实现增强人物风格化写真

大家好我是安琪！！！

在数字艺术领域，AI绘画技术已经逐渐成为艺术创作的新趋势。ComfyUI作为一款优秀的AI绘画工具，最新推出的PhotoMakerV2版本，通过腾讯开源技术，实现了无需LoRA训练，秒级实现增强人物风格化写真。现在，让我们一起来探索ComfyUI PhotoMakerV2的强大功能，开启你的创意之旅。

ComfyUI PhotoMakerV2：腾讯开源技术，秒级实现风格化写真 ComfyUI PhotoMakerV2利用腾讯开源技术，实现了无需LoRA训练，即可秒级实现增强人物风格化写真。这一突破性的功能，为数字艺术创作带来了全新的可能性，让创意绘画变得更加简单和高效。

之前很火的腾讯PhotoMaker，现在已经发布了PhotoMaker-V2。能够在几秒钟内创建任何风格的照片/绘画/头像等风格迁移图片。

PhotoMaker最新示例展示

写实照片

风格化

PhotoMaker简介

在文本到图像生成方面的进展，根据给定文本提示合成逼真人物照片方面取得了显著进步。然而，现有的个性化生成方法无法同时满足高效率、令人信服的身份（ID）保真度和灵活的文本可控性的要求。因此，研究团队提出了PhotoMaker框架，这是一种高效的个性化文本到图像生成方法，主要通过将任意数量的输入ID图像编码为堆叠ID嵌入来保留ID信息。这样的嵌入，作为统一的ID表示，不仅可以全面封装相同输入ID的特征，还可以适应不同ID的特征以供后续整合。

此外，为了推动PhotoMaker的训练，研究团队提出了一个以ID为导向的数据构建管道来组装训练数据。在通过所提出的管道构建的数据集的训练下，PhotoMaker展示了比基于测试时微调的方法更好的ID保留能力，同时提供了显著的速度提升、高质量的生成结果、强大的泛化能力，以及广泛的应用范围。

PhotoMaker方法

PhotoMaker方法是将相同身份的少量输入图像转换为堆叠ID嵌入。此嵌入可以视为要生成的ID的统一表示。在推理阶段，构成堆叠ID嵌入的图像可以来自不同的ID。然后在不同的上下文中合成定制ID。

• • 首先分别从文本编码器和图像编码器中获取文本嵌入和图像嵌入。

• • 然后，通过合并相应的类别嵌入（例如，男性和女性）和每个图像嵌入来提取融合嵌入。

• • 接下来，沿着长度维度连接所有融合嵌入，形成堆叠ID嵌入。

• • 最后，将堆叠ID嵌入输入到所有交叉注意力层，以适应性地合并扩散模型中的ID内容。

基本提示

将艺术作品/旧照片中的人带入现实

通过将艺术画作、雕塑或旧照片作为输入，PhotoMaker可以将上个世纪甚至古代的人带到本世纪来“拍照”。

风格化

PhotoMaker不仅具备生成逼真人物照片的能力，还允许在保留ID属性的同时进行风格化。

更改年龄或性别

通过简单地替换类别词（例如，男人和女人），PhotoMaker方法可以在保持原始身份的同时实现性别和年龄的变化。

多身份混合

如果用户提供了不同ID的图像作为输入，PhotoMaker可以很好地整合不同ID的特征，形成一个新的ID。

对于身份混合，PhotoMaker方法可以通过控制输入图像池中身份图像的比例或通过提示加权的方法来调整合并比例。首先展示了PhotoMaker方法如何通过控制输入图像池中不同ID的比例来定制一个新的ID。

然后通过将与特定ID相关的图像的嵌入乘以一个系数来控制其融入新ID的比例。

同类方法比较

与其他方法相比，PhotoMaker可以同时满足高质量和多样化的生成能力、有希望的可编辑性、高推理效率和强大的ID保真度。

PhotoMaker V2体验

也可以使用官方提供的在线Demo体验：

（需要的同学可以自行扫描获取）

工作流

这是来自插件作者**@shiimizu**大佬分享的工作流。

工作流安装：

首先需要更新ComfyUI，同时安装插件ComfyUI-PhotoMaker-Plus（作者shiimizu版本）。并Pip模型onnxruntime和insightface。最后还需要下载PhotoMaker-V2，放置目录：ComfyUI/models/photomaker。

下载地址：https://huggingface.co/TencentARC/PhotoMaker-V2/tree/main。

ComfyUI_IPAdapter_plus，插件地址：https://github.com/cubiq/ComfyUI_IPAdapter_plus

本文涉及模型：

• • RealVisXL v4 bakedVae：https://www.liblib.art/modelinfo/61e85558349b4cb69c6564c7cc2d250a

负面提示词：

asymmetry, worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth

正面提示词：

instagram photo, portrait photo of a woman img, colorful, perfect face, natural skin, hard shadows, film grain

01. 电影风格

02. 漫画风格

03. 线稿风格

04. 数字艺术风

05. 幻想风格

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】