【SD】Stable Diffusion + Matte Painting AI绘画全流程掌控

最新推荐文章于 2024-11-12 16:15:36 发布

程序员小猴紫

最新推荐文章于 2024-11-12 16:15:36 发布

阅读量800

点赞数 17

分类专栏： AI绘画 StableDiffusion教程文章标签： stable diffusion AI作画人工智能 AI绘画 PS

本文链接：https://blog.csdn.net/m0_74942241/article/details/142847970

版权

AI绘画同时被 2 个专栏收录

249 篇文章 10 订阅

订阅专栏

StableDiffusion教程

220 篇文章 2 订阅

订阅专栏

一、前言

发现一个超震撼的画作。细节、清晰度和透视关系都超赞面部细节惊人！
不仅如此，作者还分享了这幅作品的 8K 版本和创作过程。下面总结了一下，作为学习笔记。

本教程是一个工作流详解，主要讲述如何在创作中，利用 Stable Diffusion 进行图像生成、图像融合、添加细节和放大的工作。

本教程适用人群：AI 全流程掌控者。

先确保已安装并熟练使用以下工具：

第一步：构思和构图

主题：描绘一个退休天狗隐居山林的形象

构图：采用竖构图，初始尺寸比例定为1152*1920px。

画面元素：背景为森林及阳光，中景为主要人物、石头和各种物品，前景为植物及土地

镜头：低视角，对焦中景，前景虚化。

第二步：背景绘制

找到森林和石头的图片素材，在 Photoshop 中进行合成，加入光线，粗略处理成想要的构图和透视角度。
使用 Stable Diffusion img2img，生成最初的背景图

注意，此时不需要在意任何画面细节。生成的图片即使有一些错误也不需要修补。

Prompt: masterpiece, best quality, low angle, depth of field, a forest with sunbeams shining through the trees, rocks laying on the ground in the foreground

第三步：人物绘制

首先需要确定人物动作。这里我在草图的基础上，用 Clip Studio Pro 中的 3D人物模型进行姿态调整。你也可以使用其他 3D Pose 类软件生成人物姿态。

然后我们需要使用 ControlNet 的 Openpose 功能，生成人物姿态。

为了控制人物的色彩，可以用一张色彩合适的图片放入 img2img 中，将 Denoising strength 调至0.9以上，作为色板使用。当然，你也可以画出基本色稿放入 img2img 中，或是使用 ControlNet Color 等插件来控制色彩。
在此过程中需要进行 img2img 反复迭代，并且适时加入背景中的森林和光线元素，以便将来合成时人物与背景更易于融合。

人物大致确定以后，使用 photoshop 进行简单融合，再使用 img2img 继续生成画面。此过程依然需要反复迭代，并配合 inpainting 和 inpainting sketch 进行调整。
至此，画面已经有了雏形。脸部角度和手都存在问题，但是不用急于修改。

Prompt: masterpiece, best quality, 1male, japanese monk, back lighting, ((rim light)), long hair, white hair, floating hair, white beard, long beard, meditation, in the forest with sunbeams shining through the trees, rocks laying on the ground in the foreground, depth of field, low angle

第四步：天狗

现在我们要让老人戴上天狗面具。由于 Stable Diffusion 没有合适的模型和 Lora 可以方便地生成天狗面具，所以我为此训练了专用 Lora。

Lora 在使用时需要使用 inpainting sketch 进行重绘，或是使用 Photoshop 剪裁并简单手绘好面具后进入 img2img 重绘。注意重绘区域要小，以免 Lora 的风格污染画面的其他元素。

绘制 Stable Diffusion 不能很好地识别和绘制的特殊物品，最直接的方法就是自制 Lora。

第五步：其他物品

延续之前的思路，在画面中一件一件添加其他物品。

方法仍然是：在画面局部使用 Photoshop 加入素材或使用 Inpaiting Sketch 绘制物体，再进行多次 img2img 迭代，得到满意的效果后，在 Photoshop 中进行融合，最后整体再使用 img2img 再次生成。

在绘制局部物体的时候，可以根据需要使用不同的模型和 Lora，而不必担心整体画风发生改变。

第六步：局部修正

修正物体：包括手、物体比例等。

修正背景：由于 AI 无法理解物体的遮挡关系，所以背景中的树木会出现错位现象，我们需要手动修复树干被遮挡后的连续性。

此时，我们已经有了完整的画面，且画面中没有明显的瑕疵。

Prompt: masterpiece, best quality, 1male, japanese monk with a tengu mask and large beads necklace, a little puppy, a katana, a gourd, back lighting, ((rim light)), long hair, white hair, white beard, long beard, meditation, (textured clothing), ultra detailed, in the forest with sunbeams shining through the trees, rocks laying on the ground in the foreground, depth of field, low angle

第七步：放大

放大有几种方法：

使用 Extra>Upscaler 进行放大 - 无法增加细节
使用 Ultimate SD upscale 放大 - 对于元素较多的复杂画面容易出现错误
使用 ControlNet Tile + Ultimate SD upscale 放大 - 同样对于复杂画面容易出现错误
所以这一次我们需要使用手动分区放大。

用 photoshop 将画面均匀裁剪成 512512px 的局部图
使用 Stable Diffusion img2img 逐一生成 19201920px 的图，
Denoising 控制在 0.39-0.49。

再针对重要的物体分别通过 img2img 进行放大生成，放大倍数为 1920/512=3.75。
在分区域放大的过程中，可以使用 ControlNet 和 Ultimate SD upscaler，增加更多细节。