[ComfyUI]阿里ACE++：无需训练角色一致性迁移！基于Flux指令的角色或商标的迁移生成和编辑框架

最新推荐文章于 2025-04-14 16:17:40 发布

爱绘画的彤姐

最新推荐文章于 2025-04-14 16:17:40 发布

阅读量1.7k

点赞数 24

文章标签： comfyui DeepSeek Janus-Pro-7B WebUI Lora ACE++

本文链接：https://blog.csdn.net/A2421417624/article/details/145550249

版权

ACE++简介

今天文章主题介绍由阿里开源的基于指令的扩散框架，用于各种图像生成和编辑任务框架：ACE++。ACE++是一种基于指令的图像生成和编辑框架，能够通过上下文感知的内容填充实现图像创作和编辑。结合了FLUX.1-Fill-dev技术，仅需一张输入图像即可生成与角色一致的新图像，无需进行任何训练。

ACE++ 是一个基于指令的扩散框架，用于处理各种图像生成和编辑任务。受FLUX.1-Fill-dev 提出的修复任务输入格式的启发，改进了ACE框架中引入的长上下文条件单元（LCU），并将这种输入范式扩展到任何编辑和生成任务。为了充分利用图像生成先验知识，研发团队开发了一个两阶段训练方案，以最小化对强大的文本到图像扩散模型（如 FLUX.1-dev）进行微调的工作量。

• 第一阶段，使用任务数据和文本到图像模型的 0-ref 任务对模型进行预训练。例如，FLUX.1-Fill-dev 主要处理绘画任务，可以作为初始化以加速训练过程。
• 第二阶段，对上述模型进行微调，以支持 ACE 中定义的所有任务的一般指令。为了促进 ACE++ 在不同场景中的广泛应用，研发团队还提供了一套全面的模型，涵盖全微调和轻量级微调，同时考虑了一般适用性和垂直场景中的适用性。定性分析展示了 ACE++ 在生成图像质量和提示遵循能力方面的优越性。

• 项目主页：https://ali-vilab.github.io/ACE_plus_page/
• Github：https://github.com/ali-vilab/ACE_plus
• 在线体验：https://huggingface.co/spaces/scepter-studio/ACE-Plus

案例演示

主题驱动生成

人物一致性生成

灵活指令或描述

局部编辑

局部参考编辑

ACE++ ComfyUI体验

ACE++ 团队提供了LORA方式结合Flux Fill使用，能够在ComfyUI中实现图像角色一致修改和编辑。模型文末网盘获取！

• comfyui_portrait_lora64.safetensors：下载模型并放置目录 /ComfyUI/models/loras/ 下。地址：https://huggingface.co/ali-vilab/ACE_Plus/tree/main/portrait
• Flux-Fill：下载模型并放置目录 /ComfyUI/models/unet/ 下，建议使用FP8模型。地址：https://civitai.com/models/969431/flux-fill-fp8
• 最后，导入工作流并安装缺失插件即可。

Flux文生图&混元视频工作流

最新LIBLIBAI平台已支持Flux文生图和混元视频ComfyUI工作流在线体验：

• F.1-绮梦流光-水湄凝香：https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 文生图-Flux文生图(PuLID|LORA|Joy|SUPIR)工作流：https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8?versionUuid=9c5eceb01fb94d4d93d60fe2c0bd7468
• 文生视频-腾迅混元最强开源视频(LORA)工作流：https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0

ACE++ ComfyUI工作流体验

ACE++ ComfyUI工作流已上传LIBLIBAI平台可体验：https://www.liblib.art/modelinfo/9606677f08e447f4bae09717d541a60e?versionUuid=822ad5e2825f4d5cb25e6c8348e16daa

注意：

• Flux引导需要设置为较高值，默认值为 50。Euler 大于20 步，CFG：1。
• 图像输出风格将严重依赖于上传的图像。可以通过提示和 LoRA 强制使用其他风格，增加LORA但这会严重导致图像质量降低。因此不建议增加LORA，增加LORA需要调试参数平衡。
• 另外，当前该方法抽卡很不稳定，需要大量抽卡才能获得相对满意效果图。但是优点是该方法能够很好的适应各类姿势和角度适配。

01.logo迁移

Display the logo in a minimalist style printed in white on a matte black ceramic coffee mug, alongside a steaming cup of coffee on a cozy cafe table.

02.人物一致性迁移

Keep the characters in the picture unchanged and switch the background to sea beach.

03.图像局部修改

Let her touch her hair.look at viewer,upper body

04.衣服迁移

The chinese woman in this T-shirt.

写在最后

常用工作流已经给各位小伙伴打包好了，可以按需自取，无偿分享。
在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述