这几天粘土风格的AI图片、AI视频火了起来,虽然看起来有点丑,不过也丑的可爱,丑的很有味道,大家都很喜欢。看看这两张照片,你能猜出来他们是谁吗?
这篇文章就来分享下粘土风格照片的生成方法,生成工具采用的是当前最红最强的ComfyUI。同时这个工具可以文末领取,一键启动,不需要复杂的安装部署。
ComfyUI介绍
有些同学可能还不了解 ComfyUI,我这里做个简单的介绍:
ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具,最近发展势头特别迅猛,但是 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法,让大家更快的掌握 ComfyUI 的使用技巧,创作出自己独特的艺术作品。
有的同学可能之前也接触过 ComfyUI,感觉安装太复杂,操作太麻烦,担心自己搞不定。为此,我专门制作了一个 ComfyUI 的镜像,不用各种安装调试,只需要动动手指,一键启动,就可以拥有一个和我使用的完全一样的 ComfyUI 应用,因为坑我已经都填上了。镜像使用方法请继续阅读下文。
有的同学可能 ComfyUI 玩的已经很溜了,只想要工作流和相关的模型,这些同学请移步文末,获取相关资源。
使用粘土风工作流
可以单独下载这个工作流,下载方式见文末。
镜像使用方式如下图所示:
不过你看到的可能是英文,这个镜像已经内置了中文翻译,不过还需要大家点下按钮才能切换,操作如下图所示:
然后我们在工作流的最上方,可以找到一个“加载图像”的节点,选择一张你想要重绘的人物图片:
最后,点击菜单栏中的“添加提示词队列”,静待大约50秒钟,一张粘土风格的图片就新鲜出炉了!
以上都是简单的操作,不需要学习也不需要懂任何技术,大家比着操作就行了,是不是很简单!
粘土风工作流解读
授人以鱼,不如授之以渔。想进一步提升自己 ComfyUI 应用能力的同学可以看看我的解读,多学点工作流节点知识,慢慢应用到自己的工作流中,创作出自己独特的作品。
这个工作流主要分成以下几个部分:
模型加载
这里要加载三种模型:
1、首先是SD基础模型,这里我使用的是SDXL 1.0基础模型,模型能力绝对够用了。
2、然后要加载LoRA模型,LoRA 模型一般是用来生成特定风格的,这里用了两个,都是用来控制粘土风格的。下载方式见文末。
3、然后还要加载一个 IPAdapter 模型,它用来在生成图片时参考某张图片中的内容,我们用在这里就是要保持人物的基本形象不变。这里使用的是增强的 IPAdapter 模型,效果目前最好。
最后要把这几个模型做一个合成。
合成的时候 IPAdapter 需要把人物原图引入进来,这里先对原图做了一个缩放,宽度调整到1024(因为SDXL仅在1024以上表现良好)、高度自适应,然后把缩放后的图片送入 IPAdapter 进行处理。
最后合成的模型就是混合了SD基础模型、LoRA模型和提取了人物形象的 IPAdapter 模型。
提示词
为了更好的生成效果,我们还要使用提示词进行引导。
这里的提示词包括三个部分:
1、粘土风基础提示词:这些提示词适配所有的粘土风格图片生成,也就是粘土风的通用提示词。
2、从图片反推提示词:每张参考图片都有不一样的地方,需要在提示词中描述出来。使用这个反推提示词的节点,我们就可以避免自己手动输入的烦恼。
3、反向提示词:这是一些通用的反向提示词,避免一些常见生成缺陷。
ControlNet
ControlNet 是用来进一步控制图片结构的。因为我们只是转换图片的风格,图片的构图都要精准还原,所以这里使用了一个 Canny 控制网,它可以使用参考图片的线稿来控制新生成图片中的元素结构。
一个完整的 ControlNet 需要3个节点:
- ControlNet应用:用于定义一个ControlNet,包含ControlNet的所需的各个参数。
- ControlNet加载器:用于加载 ControlNet 模型,注意ControlNet模型分成SDXL和SD1.5的,需要和SD基础模型保持一致,不能混用。
- ControlNet预处理器:用于从参考图片中提取图片特征,这里使用的Canny预处理器,就是用来提取边缘线稿的。注意这里有个分辨率,它一般需要设置为图片的最短边的像素值。
不同的ControlNet模型需要搭配对应的预处理器器,才能正常发挥作用。
采样器
采样器是使用扩散模型生成图片的核心组件,相关节点如下图所示:
采样器需要一个用来生成图片的空间,称为潜空间,因为我们是图生图,所以这个潜空间是通过图片来创建的,对应到图中就是“VAE编码”,它会使用从SD模型中提取的VAE模型对参考图片进行编码,编码的数据放到潜空间中传给采样器进行处理。
复制Latent批次:控制一次生成几张图片,一般一张就行了,显存大的同学可以设置更大的值。
K采样器:生成图片的核心组件,它会使用前边合成的SD模型、ControlNet和提示词的条件,搭配采样算法(采样器、调度器、降噪幅度、CFG、采样步数),在潜空间中进行采样,逐步生成所需的图片。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
这份完整版的资料我已经打包好,点击下方添加即可免费领取!
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
这份完整版的资料我已经打包好,点击下方添加即可免费领取!