回首与AI绘画相伴的这半年，一切始于B站首页推送的惊艳视频。那些流光溢彩的生成作品，瞬间点燃了我的创作热情，我迫不及待地辗转于各大平台探索尝鲜。彼时，Midjourney还提供免费试用额度，我沉浸在一次次输入关键词、见证灵感跃然屏上的惊喜中，度过了一段充满趣味的创作时光。然而，当免费额度耗尽，面对付费门槛的无奈之际，Stable Diffusion闯入了我的视野。这个主打“本地部署”的开源工具，宣称只要配备中等性能显卡，就能离线生成不逊色于Midjourney的高质量图像，一场全新的创作冒险就此拉开帷幕。
从5月份开始，我就走上了这条SD绘画的学习之路，在B站上遇见了很多牛人大佬，不断学习不断进步。在这期间也遇到了许多程序上的Bug，有几次更新后要先花几十分钟解决报错，经过这段时间我发现我的Python水平都提高了，哈哈哈。
此图是使用哩布哩布上古代民间乡村樱花的Lora制作，哩布哩布我认为是现在国内最好用的AI绘画模型平台，还可以免费在线绘画，很良心。好东西一定要分享：
https://www.liblib.art
下面进入正题，刚开始的几个月我一直学习的是SD的Webui，也就是有可视化界面的项目。它的操作很简单，只需要明白点那些按钮就可以进行初步绘画了。那时候的模型基本上都是通过SD1.5的底模训练的，我的3060显卡可以勉强运行，直到SD公司发布了SDXL模型，它要求显存至少8G才能起步推理。贫穷激发学习动力，哈哈。不过最近几天发布了文字生视频的模型，据说要20G显存，这个确实很难达到。
我硬件不行只能另辟蹊径了，后来我知道了SD还有一个Comfyui的项目，它是基于节点操作的工作流工程。它的本体是几乎不占用显存的，可以把显卡的性能发挥到极致，只需要处理节点推理绘画。然后我进行了两个多月的学习，现在算是可以熟练地进行一些操作了，来这里分享一下我至今所学的心得。
安装
具体的安装细节我就不在这赘述了，B站上有许多讲的很好的教学，我只贴一下项目的Github地址：
https://github.com/comfyanonymous/ComfyUI
如果安装过webui的朋友，这里可以通过修改Comfyui根目录的extra_model_paths.yaml.example文件，将.example去掉。使用编辑器将Webui的根目录配置上，就可以从Comfyui中使用Webui的模型了。
入门
Comfyui是对于节点进行操作的，什么是节点呢？就是一些单个的功能组件，通过对Comfyui的学习，能对AI绘画的运行机制有更深的理解。下面是安装完成后一个默认的工作流，先从这个开始讲起。
这些都最基本的节点，等熟悉了以后可以安装一些高级的节点，它们把功能封装了起来，更简洁更高效。
Checkpoint加载器 ：也就是大模型的加载器，这很容易理解。
Clip文本编码器
：这是输入提示词的地方，这两个本身并没有区别，只是一个作为正面提示词一个作为负面提示词，连接到采样器不同的输入上。Clip是文本语义分割的模型，就是它将我们的自然语言翻译成AI能够理解的语言。基本都是使用默认的，如果想修改可以使用更加细化的提示词组件来操作。**
**
采样器：
基本等同于在Webui中需要设置的一些配置，都很好理解。随机种子每次运行后刷新，步数就是采样步数，CFG是提示词相关性一般默认7或8，采样器和调度器跟Webui基本一样，值得注意的是这里的降噪其实就是Webui中的重绘幅度，一般用于图生图和高清修复使用。
空Latent：
空画布，在采样器中有个Latent的输入点，所谓的Latent就是潜空间噪点图，就像小时候电视机没信号了，会出现很多点点的画面，AI绘画是以噪点图为底图，通过提示词和模型推理出新的图片。
VAE解码器
：VAE可以理解为图片的上色器渲染器，它也接受了一个Latent，但是是从采样器上输出的Latent，这个就是成图的噪点图。它无法直接变成图像，所以要从解码器上解析成图像。现在很多大模型都内置了VAE模型，所以默认流程中直接从模型上将VAE接了进去。如果我们的模型没有VAE，画出来的图片是灰色的，就像黑白图片，我们需要创建一个VAE加载器加载一个VAE模型帮助我们上色。
保存图像 ：这个就不用说了，图片会保存到项目根目录的output文件夹下。
以上就是Comfyui最基本的流程介绍了，下面我要汇报一下最近一段时间的学习成果，算是进阶操作吧，当然在大佬眼中还是比较简单的流程。
流程1：动漫真实化
基本逻辑就是
①先通过二次元大模型生成一张图片
②再通过图生图使用真实模型进行重绘，也就是真实化。
③通过Adetail的脸部细化模型进行修脸。
④最后使用放大模型算法进行放大操作，由于放大比较消耗性能可先临时禁用。
看一下效果，还是不错的
节点流程的好处是我们搭建一次，以后直接加载即可使用，不需要像Webui每次都要重复一遍操作，节省了很多时间。不过Webui现在也有个工作流的插件，也非常方便了。
这个流程还是有些复杂，如果熟悉了也是很好理解的。最近清华大学的一个团队推出了一个LCM的采样器和Lora模型，它能够将绘制一幅图的步数降低到2至8步，大大提高了我们的生图效率。当然了也要牺牲一些画质，至于取舍就要看个人了，目前此项扩展主要应用于实时绘画的项目中。
我在这里也是用LCM搭建了一个简易的动漫真实化的流程，我们来看下。
这个就一目了然了，直接通过二次元大模型的结果进行真实大模型重绘，舍去了修脸和放大，当然也可以加上。使用的采样器是LCM，Lora模型也是用的LCM1.5的模型。这套LCM真实化的流程运行一次只需要3秒左右，显卡更好的甚至能达到秒出，但也看出来了画质还是有些边缘模糊的羽化效果。
流程2-真实转动漫
既然有了二次元转真实，那么真实转动漫也就一个意思，只需要将动漫大模型和真实大模型换个位置即可。
我在这里展示的是，一个上传真实图片转动漫的流程。
①上传照片，裁剪成指定大小。
②通过WD1.4反推模型反推出图片的提示词。
③图生图使用动漫大模型进行重绘，然后保存图片。
流程3-明星生成器
这个其实是我这半年来收集了很多明星网红的Lora模型，有的可能已经绝版下架了。这些东西说实话不太敢分享，这里就打码了。示例是随便画的一张，至于这是谁我就不说了。
流程4-动图生成
动图生成使用了AnimateDiff扩展，原理是生成16帧图片然后连贯起来合成git图，这里的帧数等参数都可以根据自己显卡性能修改。由于gif图太大无法上传这里就不放示例了。
流程5-艺术二维码 **
**早在几个月前我发过一篇文章，介绍了在Webui中进行艺术二维码和光影文字。这里我重新用Comfyui的方法走一遍，温故而知新一下。
看过上面的几个流程后，艺术二维码就是在传统的图生图基础上加了ControlNet的控制，使用了二维码专用的qrcode_monster模型，下载地址重新贴一下（我知道没人去看以前的帖子，哈哈）：
https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster/tree/main
ControlNet节点的使用，是在提示词和采样器中间加了一个ControlNet的处理器模型。我用高效节点改造了一下，更加简洁了。
流程6-光影文字
最后来说一下光影文字，同样先贴模型下载地址，brightness（光影模型）：
https://huggingface.co/ioclab/ioc-controlnet/tree/main/models
使用方法只需要在流程5的高效节点基础上，加一个ControlNet预处理器，我这里使用的是涂鸦预处理器Scribble，ControlNet处理器模型换成brightness光影模型，设置好权重、开始和结束时机，然后在加载图像处上传黑底白字的蒙版图片，运行即可。
这是几个作品：
结尾
好了，写到这有些累了，我把最近学的又复习了一遍，也希望我的经验能帮到其他人。我认为Comfyui还是比较有意思的，刚开始我也是被它的外表吓到了，感觉很难，真正上手去做了并没有那么可怕。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！
对于0基础小白入门：
如果你是零基础小白，想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
（全套教程文末领取哈）
👉AI绘画必备工具👈
温馨提示：篇幅有限，已打包文件夹，获取方式在：文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
温馨提示：篇幅有限，已打包文件夹，获取方式在：文末
👉12000+AI关键词大合集👈
这份完整版的AI绘画全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
