PS+ComfyUI一键合成黑科技!3分钟搞定AI绘画全流程,Stable Diffusion效率翻倍指南

最近,老板给我们设计部布置了一个颇具创新性的任务:使用Photoshop(简称PS)联动ComfyUI插件,并通过ACE++模型完成一键合成的设计案例。而我们的主题,则是既有趣又充满童真的“熊猫坐摇摇车”。

接到这个任务时,我既兴奋又有些紧张。兴奋的是,这将是一次全新的尝试,能够让我接触到最前沿的设计技术;紧张的是,我对于ComfyUI联动PS的SD-PPP节点和ACE++模型并不熟悉,需要从头开始学习。不过,我深知挑战与机遇并存,于是,我毅然决然地接下了这个任务,并开始了我的设计之旅。
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
这份完整版的AI资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

请添加图片描述

01

初探sd-ppp节点及ACE++模型

在开始设计之前,我首先需要了解并熟悉ComfyUI联动PS的SD-PPP节点和ACE++模型。

SD-PPP(Photoshop Picture Portal for ComfyUI)是一个专为ComfyUI设计的插件,它允许用户在Photoshop中直接与ComfyUI进行交互,实现图像的生成、编辑和传输。该插件由zombieyang开发,并托管在GitHub上(链接:httPS://github.com/zombieyang/sd-ppp)。

img开源节点SD-PPP节点示例

而ACE++模型,则是阿里巴巴通义实验室推出的先进图像生成与编辑工具,它基于深度学习和自然语言处理技术,能够通过指令化和上下文感知的内容填充技术,实现高质量的图像创作和编辑。官方网站:httPS://ali-vilab.github.io/ACE_plus_page/

imgACE++主页展示

为了掌握这两个工具,我花费了大量时间搜索资料、观看教学视频,并动手实践。逐渐地,我熟悉了Comfyui的基本操作、功能模块,也掌握了ACE++模型的基本原理和应用场景。

02

节点安装与素材准备

在正式开始设计前,我做好了充分的准备工作。首先,确保电脑上安装了最新版本的PS 26.3版本软件。在节点在GitHub上(链接:httPS://github.com/zombieyang/sd-ppp)下载插件的.ccx文件。如果用户拥有Adobe Creative Cloud,可以直接双击.ccx文件进行安装。或者,将.ccx文件重命名为.zip,并解压到Photoshop的Plug-ins或Plug-ins/Generator目录下。

img解压之后的文件示例

然后,下载并安装ComfyUISD-PPP节点,在ComfyUI中通过ComfyManager搜索SD-PPP节点插件。

也可以通过知识库内整合包将SD-PPP节点插件仓库克隆到ComfyUI根目录/custom_nodes目录下,然后重启ComfyUI即可。

img节点安装示例

之后打开PS,在增效工具里找到SD-PPP并添加,再次重启PS后就能在工具栏看到使用界面了,这时输入ComfyUI的地址,小绿灯出现,说明已经成功的联动了ComfyUI和PS。

img节点插件成功联动示例

接着,我下载了ACE++模型文件,访问下载页面网址:httPS://huggingface.co/ali-vilab/ACE_Plus/tree/main。在页面上,会看到ACE++提供的三个主要模型:

comfyui_portrait_lora64.safetensors:主要用于人物肖像迁移。

comfyui_subject_lora16.safetensors:主要用于物体特征保留迁移,如商品Logo迁移等。

comfyui_local_lora16.safetensors:用于单图修改,添加或消除物体。

点击相应模型的链接进行下载。将模型文件放置到ComfyUI指定目录,通常路径类似于/ComfyUI/models/lora/。

然后准备好工作流,就可以开始运行了。

imgACE++模型下载示例

03

一键合成:熊猫爱上摇摇车

一切准备就绪后,我开始了设计工作。在PS中,我创建2个新的画布,分别放入目标熊猫和要坐下的摇摇车场景,尺寸都按照1024×1024px来设置。

img图片文件平行放置示例

然后,我打开了ComfyUI,选择了ACE++ Subject工作流(工作流可以在下方获取,即开即用),并点击保存,就可以在PS里看到这个工作流保存在列表中了。

img调用工作流示例

img保存后可以直接选用工作流示例

点开设置指令框,将摇摇车背景图片指定为被影响的画面,熊猫指定为获取对象,并使用选取工具对熊猫和生成范围进行涂抹,并在提示文档内输入了:“一只熊猫在坐摇摇车,要求人物造型不变。”这个指令简洁明了,告诉ACE++模型我的设计需求。

img

生成设置示例

点击“生成”按钮后,ComfyUI插件开始使用ACE++模型进行图像合成。我紧张又期待地盯着屏幕,只见熊猫和摇摇车逐渐融合在一起,形成了一个崭新的画面。几分钟后,合成完成。我查看效果,发现熊猫已经坐在了摇摇车上,但初次合成的效果并不完美。

img初步合成的效果展示

熊猫脚展示的不完整和画面融合的边缘并不清晰,所以我采用同样的流程框选熊猫的腿和要修改的部分,再次运行次工作流;并运用填充消除工作流对边缘的问题进行消除填充。经过一番精心的调整和优化后,我对合成后的图像感到非常满意。这只熊猫坐摇摇车的画面既有趣又充满童真,仿佛能让人瞬间回到无忧无虑的童年时光。

img

成片示例
这里为了帮助大家更好地掌握 ComfyUI,分享一套字节大佬整理的ComfyUI工作流集合,其包含了很多好玩有趣,但又有点复杂的工作流节点和json配置。

涵盖了 Stable Scascade、3D、LLM+SD、Portrait Master、SVD 等相关类别的工作流,共计15个类目38项工作流。这些都放在了下方卡片,需要的点击免费获取:

img

对于初学者来说,最佳的学习方法是以这些现成的工作流为模板,一步步地复刻并理解它们。

通过观察和分析别人的工作流,你可以学习到各种节点搭建的技巧和方法。随着理解的深入,你将能够根据自己的需求创新和搭建属于自己的工作流。

希望本文能帮助你有效地提升你的设计效率和创造力。
请添加图片描述
04深入探索:ACE++模型的更多可能

在完成这次设计任务的过程中,我深刻体会到了ACE++模型的强大功能。它不仅能够快速地将两个不同的元素融合在一起,还能保持主题的一致性,让合成后的图像看起来自然和谐。

我开始尝试使用ACE++模型进行更多的图像合成实验。发现其在商用方面的效果超乎想象,以前困难的首饰佩戴,产品上手都能通过这个方式进行融合。大大的提升设计工作的效率。

img产品填充示例

我尝试了不同的指令和参数设置,观察它们对合成效果的影响。我发现,通过调整指令的详细程度和参数的设置,我可以控制合成后的图像的细节和风格。

这些实验让我对ACE++模型有了更深入的了解,也让我对未来的设计工作充满了期待。我相信,在未来的设计中,我将能够更灵活地运用ACE++模型,创造出更多独特且富有创意的作品

通过这次设计任务,我深刻体会到了AI技术在图像设计领域的巨大潜力和优势。使用PS联动ComfyUI插件,并通过ACE++模型进行一键合成,不仅提高了我的工作效率,还让我能够创造出更加独特和富有创意的设计作品。
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

这份完整版的AIGC全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值