如何使用ControlNet插件使AI绘画更“可控”

最新推荐文章于 2024-09-27 23:51:41 发布

AI绘画咪酱

最新推荐文章于 2024-09-27 23:51:41 发布

阅读量946

点赞数 22

文章标签： AI作画 stable diffusion 人工智能 AIGC

本文链接：https://blog.csdn.net/2401_84760322/article/details/141319766

版权

前言

AI绘画是一种不需要通过人类主动参与创作而通过计算机视觉即可生成视觉图像的绘画工具，凭借着庞大的数据库和训练样本，就可以根据与图像相关联的关键词，通过其绘画算法输出一张不存在于训练样本数据库中的崭新作品。

AI绘图已成为行业关注焦点。**它的神奇之处在于，可以通过语言描绘生成一幅杰作。**不需要学习绘画，不需要操作各种复杂的作图软件，只需要运用想象力，用语言描述出画面的内容，AI就能在几秒钟之内把画面呈现出来。

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

主流AI绘画工具

现在流行的AI绘画工具有Midjourney、Stable Diffusion、DALL·E2、Firefly、文心一格等。这些AI绘画工具各有特点。

Stable Diffusion对于生成当代艺术图像具有较强的理解力，善于刻画图像的细节。DALL·E2由其前身DALL·E发展而来，其训练量无比庞大，更适合用于企业所需的图像生成场景，视觉效果也更接近于真实的照片。而Midjourney则使用Discord机器人来收发对服务器的请求，所有的环节基本上都发生在Discord上，并以其独特的艺术风格而闻名。许多艺术家在寻找灵感时，都会使用Midjourney生成图像。

ControlNet是一个基于Stable Diffusion功能的插件，它能利用输入图片里的边缘特征、深度特征或人体姿势的骨骼特征等，精确地引导StableDiffusion生成图像。它为图像生成功能引入了新的控制方式，可以更稳定地控制画面。这很好地解决了文生图无法控制生成图片的细节这个难题。

ControlNet能固定构图、定义姿势、描绘轮廓，用一张线稿就能生成一张精致的图像，功能非常强大。实现这些功能的前提是额外给它一些明确的信息指引——一张包含了某种特定信息的图片。

ControlNet插件应用案例

要设计一个海报，一般会经历如下几个步骤:确定主题内容、收集素材、确定风格、明确构图、制作草图、制作具体元素文字等、排版输出。这些步骤里，收集素材、制作元素图案和草图等非常花费时间。现在这些步骤可以直接交给AI来完成。在明确主题、风格和具体尺寸之后，出图是非常快速的。原来需要几小时或几天的工作可缩短至几秒钟。

下面以“夏至”为主题，制作一幅节日海报，突出夏日的优美景色和欢快气氛。由于要用StableDiffusion来制作，为了方便就先把大小定为宽768像素*高1024像素的竖版尺寸(制作完成之后，可根据需要再放大)。夏至是中国的传统节气，所以海报风格确定为国潮风格。夏至的元素有许多，如蓝天、白云、阳光、远山、湖水、飞鸟、蜻蜓、鱼、青蛙、知了、绿叶、向日葵、荷花、荷叶、柳丝、西瓜、饮料、汽水、阳伞、冰块、冰激凌等等。为了配合国潮风格确定海报主体是荷花和荷叶，中景是池塘，远景是远山、飞鸟和亭子。

1、选择一种适合画风景的大模型。经过多种模型的尝试，最后选择了大模型:LocsChinaLandscapesv2;为了突出国潮水墨风格，选用了水墨shuimomix-v3这个Lora进行搭配;触发词是shuimo,guochao。迭代步数:30，采样方法:DPM++2MKarras。

2、提示词书写时要尽量把描绘的场景内容都包括进去。主要包括画面质量、画面风格、主体内容特点、场景特点、环境特征、画面透视等几方面。

正向提示词如下:

bestquality,ultra-detailed,hires,8k,greentone，nohumans，lotusflowersinfullbloom,Lotusclose-up,lotusleaves,lotusheads,apooloflotus,summer,fishswimminginthewater,distantgreenmountains,pavilions,quiet, Swarm of Yan flying in the sky, blue sky,white clouds, sunny, fine weather, a prosperousscene, Chinese ink painting style, traditionalink painting style, ancient style, ancient china,painting landscapes, natural, quiet, elegant,the color is bright and fresh, layered sense,perspective sense, shuimo, guochao，lora:水墨shuimomix-v4\_V4.0:1

负面提示词如下：

NSFW, low quality, low res, monochrome,grayscale，Unclear scenery, improper layout,fuzzy, rough, dull, chaotic, incongruous, vulgar,messy, Too heavy, dull, the subject lacks focus,the color is yellow and twilight, Boulders, orstacked elements, can add to a sense of chaosor disorder. The scene is too complicated, theenvironment is not clear, and the visual Angleof the picture is unbalanced, ugly, chaotic,monotonous, unnatural, abrupt, no originality, nocreativity, lack of level‍

写完提示词就可以根据这些文字生成图像了，生成的图像与描述相符，但在构图方面，有些凌乱。再多生成几张，还是不满意。

在这里插入图片描述

3、控制Stable Diffusion的构图形式。这里用到Stable Diffusion的插件ControlNet。为了更好地让它理解预期的构图形式，需要合适的图片作为参考。

“夏至”这幅图的主体是荷花，所以找了一张荷花特写图片作为参考，按照想要的构图形式，只留下需要的部分，放到合适的位置，做成线稿备用。如下图所示。

主体参考图‍‍

另外还要找到有远山和亭子的背景图片，选择合适的景物，做成线稿。如下图所示。

背景参考图

做成线稿这个步骤，可以放到StableDiffusion的ControlNet预处理器里完成，因为需要对原图进行取舍修改，为了更方便，用Photoshop进行了处理。

这里采用两个ControlNet来控制，ControlNet1控制远景，ControlNet0控制近景,先控制远景的画面渲染，再控制近景画面的渲染，让两部分在步数上有少量的重合，这样两种控制既不会相互干扰，画面也会一定程度上融合在一起。

在文生图下面打开ControlNet，把主体的参考图放到Control Net0里，因为已经把参考图处理成了线稿形式，所以预处理器就选择无。模型选择:lineart。

荷花是这幅图的主体，需用更多的步数来描画，为了避免与背景的控制相互干扰，所以开始控制步数(Starting Control Step):0.2，结束控制步数(Ending Control Step):1。权重(Control Weight):1。控制模式选择(Control Mode):ControlNetis moreimportant。

把背景的参考图放入ControlNet1中，预处理器选择无。模型选择:lineart。在这里背景参考图只需要给StableDiffusion提供一个大概的轮廓，细致的描画可以让StableDiffusion自由发挥，所以控制权重:0.5。

在步数控制上，只控制前面一段的步数，开始控制步数(Starting Control Step):0，结束控制步数(Ending Control Step):0.25。让远景按需要的位置大概画出轮廓就好，再和主体参考控制在步数上有稍微的交叉，让整个图像更融合。

设置好ControlNet后，再生成的图，构图层次就基本控制好了。多生成几张，挑选满意的图出来。

4、局部重绘。这张图构图形式和画面都基本满意，但是水里有类似船和人的图像，明显不符合透视。可以用局部重绘，把船改成鱼，让整个画面更有灵性，于是把这张图放到局部重绘中，用画笔把要改的地方涂黑。

在正向提示词中写上鱼，如many red fish,A group of koi。提高重绘幅度，再生成，就得到了鱼儿水中游。多生成几张，寻找满意的鱼儿。

5、最后，把生成的图像放入Photoshop中，进行最后的微调，加上文字。如果哪里不满意，还可用Photoshop中的Stable Diffusion插件再次在局部生成新的图案，Photoshop中的Stable Diffusion插件使用方法和直接使用StableDiffusion几乎一样，使用起来非常方便。

综上所述，可以看出用Stable Diffusion进行绘画，操作简单快捷，再配合Lora模型和ControlNet等插件，很轻松就能生成出预想的画面，即使创作者没有美术功底，也可以快速创作出具有复杂姿态、多种绘画风格的作品。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。