白嫖京东云,部署ComfyUI,生成140张粘土风图片

这几天粘土风格的AI图片、AI视频火了起来,虽然看起来有点丑,不过也丑的可爱,丑的很有味道,大家都很喜欢。看看这两张照片,你能猜出来他们是谁吗?

这篇文章就来分享下粘土风格照片的生成方法,生成工具采用的是当前最红最强的ComfyUI。同时这个工具可以在京东云免费使用,一键启动,不需要复杂的安装部署。

ComfyUI介绍

有些同学可能还不了解 ComfyUI,我这里做个简单的介绍:

ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具,最近发展势头特别迅猛,但是 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法,让大家更快的掌握 ComfyUI 的使用技巧,创作出自己独特的艺术作品。

有的同学可能之前也接触过 ComfyUI,感觉安装太复杂,操作太麻烦,担心自己搞不定。为此,我专门制作了一个 ComfyUI 的镜像,不用各种安装调试,只需要动动手指,一键启动,就可以拥有一个和我使用的完全一样的 ComfyUI 应用,因为坑我已经都填上了。镜像使用方法请继续阅读下文。

有的同学可能 ComfyUI 玩的已经很溜了,只想要工作流和相关的模型,这些同学请移步文末,获取相关资源。

部署ComfyUI

文末有详细教程,免费分享!

使用粘土风工作流

你可以单独下载这个工作流,下载方式见文末。

镜像使用方式如下图所示:

不过你看到的可能是英文,这个镜像已经内置了中文翻译,不过还需要大家点下按钮才能切换,操作如下图所示:

然后我们在工作流的最上方,可以找到一个“加载图像”的节点,选择一张你想要重绘的人物图片:

最后,点击菜单栏中的“添加提示词队列”,静待大约50秒钟,一张粘土风格的图片就新鲜出炉了!

以上都是简单的操作,不需要学习也不需要懂任何技术,大家比着操作就行了,是不是很简单!

粘土风工作流解读

授人以鱼,不如授之以渔。想进一步提升自己 ComfyUI 应用能力的同学可以看看我的解读,多学点工作流节点知识,慢慢应用到自己的工作流中,创作出自己独特的作品。

这个工作流主要分成以下几个部分:

模型加载

这里要加载三种模型:

1、首先是SD基础模型,这里我使用的是SDXL 1.0基础模型,模型能力绝对够用了。

2、然后要加载LoRA模型,LoRA 模型一般是用来生成特定风格的,这里用了两个,都是用来控制粘土风格的。下载方式见文末。

3、然后还要加载一个 IPAdapter 模型,它用来在生成图片时参考某张图片中的内容,我们用在这里就是要保持人物的基本形象不变。这里使用的是增强的 IPAdapter 模型,效果目前最好。

最后要把这几个模型做一个合成。

合成的时候 IPAdapter 需要把人物原图引入进来,这里先对原图做了一个缩放,宽度调整到1024(因为SDXL仅在1024以上表现良好)、高度自适应,然后把缩放后的图片送入 IPAdapter 进行处理。

最后合成的模型就是混合了SD基础模型、LoRA模型和提取了人物形象的 IPAdapter 模型。

提示词

为了更好的生成效果,我们还要使用提示词进行引导。

这里的提示词包括三个部分:

1、粘土风基础提示词:这些提示词适配所有的粘土风格图片生成,也就是粘土风的通用提示词。

2、从图片反推提示词:每张参考图片都有不一样的地方,需要在提示词中描述出来。使用这个反推提示词的节点,我们就可以避免自己手动输入的烦恼。

3、反向提示词:这是一些通用的反向提示词,避免一些常见生成缺陷。

ControlNet

ControlNet 是用来进一步控制图片结构的。因为我们只是转换图片的风格,图片的构图都要精准还原,所以这里使用了一个 Canny 控制网,它可以使用参考图片的线稿来控制新生成图片中的元素结构。

一个完整的 ControlNet 需要3个节点:

  • ControlNet应用:用于定义一个ControlNet,包含ControlNet的所需的各个参数。
  • ControlNet加载器:用于加载 ControlNet 模型,注意ControlNet模型分成SDXL和SD1.5的,需要和SD基础模型保持一致,不能混用。
  • ControlNet预处理器:用于从参考图片中提取图片特征,这里使用的Canny预处理器,就是用来提取边缘线稿的。注意这里有个分辨率,它一般需要设置为图片的最短边的像素值。

不同的ControlNet模型需要搭配对应的预处理器器,才能正常发挥作用。

采样器

采样器是使用扩散模型生成图片的核心组件,相关节点如下图所示:

采样器需要一个用来生成图片的空间,称为潜空间,因为我们是图生图,所以这个潜空间是通过图片来创建的,对应到图中就是“VAE编码”,它会使用从SD模型中提取的VAE模型对参考图片进行编码,编码的数据放到潜空间中传给采样器进行处理。

复制Latent批次:控制一次生成几张图片,一般一张就行了,显存大的同学可以设置更大的值。

K采样器:生成图片的核心组件,它会使用前边合成的SD模型、ControlNet和提示词的条件,搭配采样算法(采样器、调度器、降噪幅度、CFG、采样步数),在潜空间中进行采样,逐步生成所需的图片。

资源下载

我已经整理好了粘土风格使用的ComfyUI工作流、LoRA模型、IPAdapter模型,需要的的小伙伴看到最后!


为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版添加下方免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img
由于篇幅原因,详细版添加下方免费领取!!!

  • 17
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值