【AI绘画】Stable Diffusion好帮手: ControlNet，Lora,Embedding通俗讲解

最新推荐文章于 2024-11-08 10:25:49 发布

写编程的木木

最新推荐文章于 2024-11-08 10:25:49 发布

阅读量1k

点赞数 28

本文链接：https://blog.csdn.net/hjs123456780/article/details/141599228

版权

大家好，我是写编程的木木。

今天咱们聊聊几个听起来可能有点高大上，但其实超级有趣的Stable Diffusion好帮手：ControlNet、LoRA和Embedding。别被这些洋气的名字吓到啦，跟着我一起来探索这些令人兴奋的AI世界吧！

一、ControlNet

想象一下，你正在画一幅超复杂的画，比如说…一群穿着华丽礼服的人在月光下跳舞。哇，光是想想就觉得难度爆表啊！但别慌，ControlNet就像是你的贴心画家小伙伴，随时准备帮你一把。

它会先给你画出大致的轮廓和关键细节，就像是给你一个超棒的"填色本"。人物的姿势、表情、衣服的褶皱，甚至月光的阴影，都会被勾勒出来。这样一来，你就不用担心画歪了舞者的腿，或者把月亮画成了太阳。简直是业余画家的福音啊！

ControlNet还能帮你定下整体的艺术风格。想要梵高风格的星空？没问题！想要莫奈风格的柔和光影？也不在话下！有了这个神奇的小助手，你的画作就能既有创意又专业，让人眼前一亮！

下面我们来看个示例: 使用controlnet来迁移梵高画作的风格

在这里插入图片描述

生成的结果：

在这里插入图片描述

二、LoRA

接下来，让我们聊聊LoRA。这个名字听起来像是某个魔法咒语，对吧？其实，它的全称是Low-Rank Adaptation，中文叫"低秩适应"。嗯…听起来还是很高深的样子。不过别担心，我来给你打个比方。

想象你有一个超级无敌的百宝箱。这个箱子里有各种各样的工具，可以帮你解决生活中遇到的各种问题。修理自行车？没问题！给花园除草？小菜一碟！甚至还能帮你做出一道美味的意大利面！

LoRA就像是这样一个神奇的百宝箱。它可以让一个庞大的AI模型快速适应新的任务，而不用从头开始学习。就好像你的百宝箱突然学会了修理电脑，而不需要你重新买一个专门的电脑工具箱。酷毙了，对不对？

举个示例:

1. 写实大模型及提示词

在这里插入图片描述

生成图片:

在这里插入图片描述

保存生成图片的seed

点击如图绿色三角，可以提取当前生成图片的seed值。当前图片seed值是1040912924

在这里插入图片描述

3. 修改提示词，添加lora

3.1 添加ballpoint lora,点击lora图片，会自动添加到提示词后

在这里插入图片描述

生成图片:

在这里插入图片描述

3.2 也可以多个lora一起使用

在这里插入图片描述

生成图片：

在这里插入图片描述

不知大家发现了没，使用相同seed生成的人物脸部比较相似。

三、 Embedding

最后，我们来认识一下Embedding。这个词听起来像是某种高级按摩服务，但其实它在AI世界里扮演着超级重要的角色哦。

想象你走进了一个超大的图书馆。里面有成千上万本书，涵盖了从古希腊哲学到现代量子物理的各种主题。如果这些书都随意摆放，你肯定会抓狂的吧？但是别担心，图书馆里有一位超级厉害的管理员。她把所有的书都按照主题、作者、出版年份等信息进行了分类和编号。

这位神通广大的图书管理员，就是我们的Embedding啦！在AI的世界里，Embedding把复杂的信息（比如文字、图像、声音）转换成一串数字。这样，计算机就能更容易地理解和处理这些信息。

例如，Embedding可以把"我爱吃冰淇淋"这句话转换成一串数字：[0.2, -0.5, 0.8, 0.1]。这串数字看起来毫无意义，但对计算机来说，这就是一本打开的书，里面包含了关于这句话的各种信息。

有了Embedding，AI就能更好地理解人类的语言、识别图像，甚至创作音乐和诗歌。它就像是AI和人类世界之间的翻译官，帮助两个完全不同的世界进行沟通。是不是很神奇？

好啦，今天的SD小课堂就到这里啦。我们认识了三位SD的好伙伴：画家小助手ControlNet、百变工具箱LoRA，还有翻译官Embedding。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述