AIGC初体验——Stable Diffusion Additional Network教程

本期我们讲一下Additional Network(简称AddNet)这个插件,它能帮我们控制多个LoRA模型生成混合风格的图像。

一、下载和安装

下载方式有两种,一种是在“扩展-从网站安装”输入github.com/kohya-ss/sd-webui-additional-networks就可以安装了,如果不行的话就自行下载压缩包解压放到SD的extensions目录下。

安装完之后一定要重启sd进程!仅仅应用更改并重启前端是不够的。之后我们可以看到选项卡上多了一个Additional Network选项:

img

并且类似于ControlNet在主页面有一个下拉框:

img

看起来有点复杂。鉴于网上资料约等于0,我只能看项目源码的Github,作者是个小日子,所以介绍页面英日混杂WTF。不过幸好笔者自学过一点日语(君日本语本当上手),能get到大概的意思。

img

AddNet扩展允许在原始SD模型中添加一些网络(如LoRA)来生成图像。目前仅支持LoRA。这种添加是即时的,不需要模型合并。

注意

LoRA模型只有放到extensions\sd-webui-additional-networks\models\lora目录下然后点击“刷新模型列表”之后才会出现。

当然如果你将models\Lora下的模型复制到上述目录会造成空间的浪费。我们建议是创建一个符号链接(不是快捷方式),把models/LoRA路重复利用。

方法:以命令行模式打开cmd
输入:mklink /D {你的sd路径}\extensions\sd-webui-additional-networks\models\lora {你的sd路径}\models\Lora
你看到这样带有箭头的文件夹就证明成功了:

img

二、基础使用

我们可以任意任意地组合最多5个不同的LoRA模型并设置它们的权重,权重范围-12。权重范围为什么不是01呢,为什么会有负权重?

我们用hanfu这个LoRA模型为例,看一下权重对画面的影响:

img

可以看到大于1和小于0的权重的画面都是噪点,根本无法使用。在0~0.5,LoRA模型才真正发挥作用,我们在这个范围进一步细化:

img

对于hanfu这个模型最佳权重在0.5左右。

下面我们来生成一张胡桃图像,使用anything-v4.5这个模型,我们希望画面的背景是中国古建筑。为此我专门下载了hutao和qing两个lora模型(可以自行去C站下载)。

咒语(控制随机数种子不变):

1girl, solo, :d, bangs, sitting, hands on head, black_hair, long hair, blush, small breasts, brown_hair, loose clothes, short pants, long hair, long_sleeves, side view, open_mouth, red_eyes, sitting, smile, (thin thighs: 1.4) , closed thighs, hat, white legwear

需要注意的是对于有触发词的LoRA,需要将触发词加到prompt中。

(1) hutao权重0,qing权重0

生成的图像如下图所示,没有任何“胡桃”和“中式古建筑”的迹象。

img

(2) hutao权重0.5,qing权重0

可以看出是胡桃嗷,但是背景不是我们相要的。

img

(2) hutao权重0.5,qing权重0.5

这次完美了,一张坐在古楼里的胡桃。

img

可惜的是AI不会画星形瞳孔,不然就更像惹~

三、高级使用

现在我们有这样一个需求,画面中有两个人,一个人是A风格,另一个人是B风格。如果我们想单纯依靠 文生图或者图生图是很难做到的。

但是借助AddNet我们就很容易实现这些。点击“Extra args”下拉框,我们就能看到一个掩膜导入窗口:

img

掩膜中纯红色的区域表示第一个LoRA模型作用范围,纯绿色区域表示第二个LoRA模型作用范围,纯蓝色区域表示第三个LoRA模型作用范围,黄色区域表示第一个和第二个LoRA模型的重叠区域,以此类推。

下面的实验我们用ControlNet来控制人物姿势,没有LoRA情况下得到的图像:

img

有LoRA,没有掩膜得到的图像:

img

有LoRA和掩膜得到的图像:

img

img

左边的女孩用的是一种风格,右边女孩用的是另外一种风格,在重叠区域也做到了很好的过渡。

四、总结

AddNet可以让我们非常轻松地融合多种LoRA模型。但是目前该功能仍在开发之中,有诸多不完善的地方,如果功能完善一些也是非常不错的!

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍代码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入门stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值