一、基本玩法
1、文生图及注意事项
这个比较简单,就是在tex2img这个选项卡这里,输入正反提示词,设置参数,点击Generate按钮后就能得到图片,下图是Stable Diffusion的生图界面。
这里重点提示一下如何通过某几个参数的设置得到画质清晰的图片。第一次玩大家可能有这种体验,一般我们在选择基础模型,设置以上需要设置的内容后,生成的人物的脸总是模糊不清,或者直接崩掉,反正生成的效果跟Midjourney差得远。怎么解决这个问题呢?
大家可能会想到调整采样步数,比如20调整到30步,步数越高画面调整的越精细嘛;Sampling method从默认的Eular a调整到DPM++ SDE Karras,但其实最终的效果依然不好。
怎么办呢?我们可以通过高清修复(Hires. fix)这个选项可以很好解决这个问题,并且把Denoising strength调整到0.5-0.7之间,Upscaler选择R-ESRGAN 4x+,最终的效果就好多了。以下是同一个大模型、同样的正反提示词,调整不同参数生成的图片对比,可以看出高清修复确实对模特的脸效果十分明显。顺便提一句,脸部修复的选项似乎对模特面部没什么用,没有高清修复好用。
左边是直接生成的,右边是高清修复的
以下是右边图片参数设置的截图,大家可以自己参照玩一玩。
2、图生图及注意事项
图生图,也就是说Stable Diffusion可以根据你上传的图片调整大模型或者参数后再次生成图片。例如,我想给一张写实的图片换一个二次元风格,调整基础大模型为二次元风格,输入正反提示词就可以得到以下效果。
另外图生图的高清修复需要在settings-upscaling这里设置,具体如下图:
心细的小伙伴可能会问,大模型是什么,图片是怎么从写实风变成二次元或者漫画风的?别急,接着往下看⬇️
二、基础大模型及微调模型
1、基础大模型
一般我们下载完Stable Diffusion WebUI后都只有一个基础的大模型,偏写实风,也就是下面我截图的这个。
但是这个大模型比较单一,生成图片的风格也就一种,就像刚刚我们想要一个二次元,或者动漫、国风等等这些风格,就需要再去下载其他的大模型进行图片训练。
基础大模型我们可以去到C站,C站链接如下:https://civitai.com/ 。每个模型都有图片示例,大家可以选择自己喜欢的模型进行下载。
下载后的模型将其放在stable-diffusion-webui/models/Stable-diffusion/这个目录下,刷新模型这里就可以显示已经下载的模型了。
2、微调模型——Lora
除了基础大模型,还有比较火的微调模型可以下载使用,Lora可以理解为是基础大模型下的又一个小模型。比如一个写实风的模型,我想要小姐姐的脸各式各样,那就需要在写实风格大模型下有不同脸蛋的模型,最终才能生成不同的脸来。
Lora模型可以在网上下载(还是上面提到的C站,带Lora标签的模型),或者是自己炼(此处不展开讲,可开篇另讲)。下载的模型安装在/stable-diffusion-webui/models/Lora路径下,然后重启Stable Diffusion WebUI,在文生图或图生图界面的生成按钮下,可以看到一个又红又白又黑的图标,该图标名为show extra networks(显示额外网络),点击该红色图标将会在本页弹出一个面板,在该面板中可以看到Lora选项卡,在这里可以看到已经安装的Lora模型,点击模型名称将会自动该角色名称加载到prompt文本框中。
以上是单个Lora模型的应用,如果我们想要多个Lora模型混合使用怎么办呢(比如多个明星的脸混合生成)?就需要额外下载一个插件——Additional Networks。
下载地址:https://github.com/kohya-ss/sd-webui-additional-networks 。
安装步骤:打开Extensions——点击install from URL——输入上面的下载地址——最后点击Install,最后重启WebUI就可以看到Additional Networks这个入口了。
点击Additional Networks小三角可以设置不同的Lora模型的权重占比,下载的Lora模型记得放到/stable-diffusion-webui/sd-webui-additional-networks/models/LoRA这个目录下,这样在Model这里才能选到我们下载的Lora模型。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取