Stable Diffusion ComfyUI 基础教程(五)局部重绘&智能扩图

图片

前言:

  1. 我们上一节讲了图生图,也提到了“遮罩”这个节点;
  2. 我们想一下在使用 Web UI 进行局部重绘的时候都用到了那些功能?

创建流程:

  1. 我们打开上节课“图生图”的流程图,我们可以看到“加载图像”节点是没有地方连接的,点住“遮罩”往外拉,松开然后选择“VAE内补编码器”;

  2. 我们会看到刚才添加的“VAE内补编码器”和“VAE编码器”相比多了遮罩、遮罩延展:

    1. 遮罩:用来连接“加载图像”的遮罩;
    2. 遮罩延展:类似于羽化(根据你的图像大小适当调整)。

图片

  1. 有了“VAE内补编码器”我们就不再需要“VAE编码”了,并且“图像缩放”节点也可以删掉了(如果你图像太大还是建议保留这个节点);
  2. 我们把“VAE内补编码器”节点的“图像、遮罩”与“加载图像”节点的“图像、遮罩”连接,“VAE”与“VAE加载器”连接,“Latent”与“K采样器”连接。

图片

  1. 在“加载图像”节点上面“右键-在遮罩编辑器打开”,我们就可以看到一个绘制重绘区域的弹窗。下方有三个按钮和一个滑块,分别是清除(清除绘制区域)、取消(关闭弹窗)、Stave to node(把重绘图像同步到节点)、滑块(调整画笔大小)

图片

  1. 我们输入想要重绘的关键词就可以出图了,我演示中是把小猫重绘成了小狗

图片

图片

  1. 这个流程不止还可以进行修复,还可以更模型,绘制成不同的风格

智能扩图流程:

  1. 我们可以通过对图像四周进行重绘进行扩图,这时候我们就用到一个“外补画板”节点,“右键-新建节点-图像-外补画板”;
  2. 上下左右是设置向外扩散尺寸的,羽化和VAE内补编码的遮罩延展一个意思。

图片

  1. 这个节点是连接在“加载图像”(如果你添加了“图片缩放”节点,那就在这个节点后面)节点和“VAE内补编码器”节点之间,如下图所示:

图片

图片

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

### 使用 Stable Diffusion 和 LoRA 进行局部训练 #### 准备工作 为了使用 Stable Diffusion 结合 LoRA 模型进行局部训练,需先准备好基础环境和资源。确保安装并配置好 Stable Diffusion 的运行环境,并下载所需的预训练模型文件。 对于特定需求提到的 `RevAnimated_v122.safetensors` 作为基底模型以及两个 LoRA 文件——IvoryGoldAI (增加金属质感) 和 more_details (增强像细节)[^1],这些都将用于微调过程中的风格调整。 #### 数据集准备 创建一个专门的数据集,其中包含需要制部分的目标片及其对应的掩码(mask),该掩码用来指示哪些区域应该被修改。每张与其对应mask应成对存在,以便于后续处理脚本读取。 #### 配置参数与命令执行 在启动训练之前,定义必要的超参数如 batch size, learning rate 等。同时,在命令行中指定加载的基础模型路径、LoRA权位置以及其他必要选项: ```bash python train.py \ --base_model_path ./models/revanimated_v122.safetensors \ --lora_weights "./loras/IvoryGoldAI.lora", "./loras/more_details.lora" \ --data_dir /path/to/dataset \ --output_dir output_directory_name \ --learning_rate=5e-6 \ --max_train_steps=800 ``` 此段代码展示了如何通过 Python 脚本来发起一次基于给定条件下的训练任务[^2]。 #### 应用负向提示优化结果质量 为了避免某些不希望出现的效果,可以在训练过程中加入负面提示(negative prompt)。例如利用 badhandv4 或 EasyNegativeV2 来防止手部变形等问题的发生;而 Deep Negative 则有助于改善人体结构准确性等方面的表现[^3]。 #### 实践建议 理论知识固然要,但实践才是检验真理的标准。鼓励读者跟随具体项目操作一遍完整的流程,这样不仅能加深理解还能积累宝贵经验[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值