[ComfyUI]阿里ACE++：无需训练角色一致性迁移！基于Flux指令的角色或商标的迁移生成和编辑框架

最新推荐文章于 2025-03-14 11:05:59 发布

AIGC阿道夫

最新推荐文章于 2025-03-14 11:05:59 发布

阅读量1.1k

点赞数 13

本文链接：https://blog.csdn.net/text2203/article/details/145569889

版权

大家好我是AIGC阿道夫

ACE++：无需训练即可实现角色一致性生成，基于指令的扩散框架，用于各种图像生成和编辑任务

ACE++简介

今天文章主题介绍由阿里开源的基于指令的扩散框架，用于各种图像生成和编辑任务框架：ACE++。ACE++是一种基于指令的图像生成和编辑框架，能够通过上下文感知的内容填充实现图像创作和编辑。结合了FLUX.1-Fill-dev技术，仅需一张输入图像即可生成与角色一致的新图像，无需进行任何训练。

ACE++ 是一个基于指令的扩散框架，用于处理各种图像生成和编辑任务。受FLUX.1-Fill-dev 提出的修复任务输入格式的启发，改进了ACE框架中引入的长上下文条件单元（LCU），并将这种输入范式扩展到任何编辑和生成任务。为了充分利用图像生成先验知识，研发团队开发了一个两阶段训练方案，以最小化对强大的文本到图像扩散模型（如 FLUX.1-dev）进行微调的工作量。

• 第一阶段，使用任务数据和文本到图像模型的 0-ref 任务对模型进行预训练。例如，FLUX.1-Fill-dev 主要处理绘画任务，可以作为初始化以加速训练过程。
• 第二阶段，对上述模型进行微调，以支持 ACE 中定义的所有任务的一般指令。为了促进 ACE++ 在不同场景中的广泛应用，研发团队还提供了一套全面的模型，涵盖全微调和轻量级微调，同时考虑了一般适用性和垂直场景中的适用性。定性分析展示了 ACE++ 在生成图像质量和提示遵循能力方面的优越性。

null

• 项目主页：https://ali-vilab.github.io/ACE_plus_page/
• Github：https://github.com/ali-vilab/ACE_plus
（文末也可获取模型文件）

案例演示

主题驱动生成

人物一致性生成

灵活指令或描述

局部编辑

局部参考编辑

ACE++ ComfyUI体验

ACE++ 团队提供了LORA方式结合Flux Fill使用，能够在ComfyUI中实现图像角色一致修改和编辑。模型文末网盘获取！

• comfyui_portrait_lora64.safetensors：下载模型并放置目录 /ComfyUI/models/loras/ 下。地址：https://huggingface.co/ali-vilab/ACE_Plus/tree/main/portrait
• Flux-Fill：下载模型并放置目录 /ComfyUI/models/unet/ 下，建议使用FP8模型。地址：https://civitai.com/models/969431/flux-fill-fp8
• 最后，导入工作流并安装缺失插件即可。

Flux文生图&混元视频工作流

最新LIBLIBAI平台已支持Flux文生图和混元视频ComfyUI工作流在线体验：

• F.1-绮梦流光-水湄凝香：https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 文生图-Flux文生图(PuLID|LORA|Joy|SUPIR)工作流：https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8?versionUuid=9c5eceb01fb94d4d93d60fe2c0bd7468
• 文生视频-腾迅混元最强开源视频(LORA)工作流：https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0

null

ACE++ ComfyUI工作流体验

注意：

• Flux引导需要设置为较高值，默认值为 50。Euler 大于20 步，CFG：1。
• 图像输出风格将严重依赖于上传的图像。可以通过提示和 LoRA 强制使用其他风格，增加LORA但这会严重导致图像质量降低。因此不建议增加LORA，增加LORA需要调试参数平衡。
• 另外，当前该方法抽卡很不稳定，需要大量抽卡才能获得相对满意效果图。但是优点是该方法能够很好的适应各类姿势和角度适配。

01.logo迁移

Display the logo in a minimalist style printed in white on a matte black ceramic coffee mug, alongside a steaming cup of coffee on a cozy cafe table.

02.人物一致性迁移

Keep the characters in the picture unchanged and switch the background to sea beach.

03.图像局部修改

Let her touch her hair.look at viewer,upper body

04.衣服迁移

The chinese woman in this T-shirt.

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。