Leo-Fighting的博客

截止到上周，SD绘画的合集，已更新84篇暂告一段落，后续计划更新 ComfyUI绘画，或者是AI智能体 应用。简单总结下过去3个月，使用 WebUI绘画的体验。

目前，只使用了一个电商的LoRA来生成上方的图片，我们还可以继续添加符合该场景调性的LoRA进行互相搭配。点击「生成」，就能得到具有中国特色的水彩画的。第1步，使用 PS（小白推荐使用。

第1步，输入线稿生成必备的提示词：第2步，开启 ControlNet，加载需要转绘的图片，控制类型选择「SoftEdge」，预处理器选择「softedge_hed」：第3步，添加一个线稿 LoRA：生成图片效果如下：去除上色效果：monochrome轮廓边缘线条变细：第1步，开启 ControlNet，控制类型选择「Lineart」：换一个建筑专用的线稿Lora，权重设置为0.6：生成图片效果如下：对于 3D物体，ControlNet 的控制类型，建议选择「Canny」：叠加2个LoRA：

第一轮扩充得到的图片，两边的扩充，接缝明显，而且色调差异大，非常不自然。来到「文生图」页面，输入固定的起手式提示词。，选择一个与加载图片相对一致的大模型。现在先进行宽度扩充，扩充为。

在游戏设计、小说推文、角色设计里面，很多场景都运用到IP角色的多视图。

在 人物角色保持一致性（上篇）中，我们已经得到了自己创造的角色的各个角度头像图片：从中选择一个符合自己需求的角度，截图保存，例如下图：进入到「图生图」页面，把上一篇中生成图片的正反向提示词复制过来：在下方加载刚才得到的截图：开启「ADetailer」脸部修复模型：在「ADetailer」加入提示词 ，重绘幅度设置为 ，点击「生成」：得到图片如下：优化调整的方向有2点：在控制表情时，我们需要在权重间找到一个平衡点，过低会不明显，过高则会容易导致人物外貌走样。返回「文生图」页面，保持人物生成的提示词，开启 Co

由于 SD 具有强大的可控性，在固定人物角色方面，SD 是远超 MJ 的，其中最好用，也是最优先的方法就是训练一个自己专属的角色模型，例如之前使用秋叶训练器得到的 LoRA模型。

在「关键帧」下方的「运动」模块，只需要设置。：在「关键帧」模块，调整。由于文件过大，无法上传。

在「关键帧」下方的「运动」模块，只需要设置。

Deforum中其他模块主要是服务于上传视频的，而视频转绘有其他效果更好的插件。

本篇文章重点讲解参数最多的 关键帧 模块。

Deforum与不太一样，是生成丝滑变化视频的，而Deforum的丝滑程度远远没有好。它是根据对比前面一帧的画面，然后不断生成新的相似图片，来组合成一个完整的视频。Deforum的优点在于可控性好，提示词的变化，镜头的运动方向，画面的变化程度，以及噪声加入的多少，甚至中途改变模型都可以控制。通过Deforum可以很清晰的制作瞬息全宇宙的动态视频效果。

使用插件，我们只需要按时间节点，输入不同的提示词，就可以非常轻松地生成一系列丝滑的动画。的底层技术框架，是由 上海人工智能实验室 & 香港中文大学 & 斯坦福大学 联合研发的，它能很好地结合 SD 的各种模型，以及配合 ControlNet 和 Upscale 来生成出可控的高清丝滑视频。

上面👆展示了15个模型的出图，其中我较为满意的（既能符合提示词，像霉霉，又能保持插画风格），只有03、06、07号模型。我们每次训练出来的模型，一般都会生成 20-30 个，至于哪个模型符合要求，较为理想呢？我想其中的原因是：随着训练轮次越多，AI已经把素材的特征完全学定型了。再更换其他的提示词，多试几轮，留下出满意的 LoRA 模型以后使用。我最终选择留下 06、07 两个模型，其他的都可以选择删掉。这个提示词了，而且越来越接近真人模型，缺少插画风格。因此，从10轮过后的模型，都可以直接删掉。

花了不少时间搜索尝试，都没有找到解决上一篇文章遗留问题的解决方案，导致无法使用这个工具来完成炼丹，看不到炼丹效果。但考虑到，以后还是要训练自己的模型，于是决定放弃， 使用秋叶训练器。

如果后续找到解决方案，也会分享给你。

余弦退火重启，在余弦学习方法基础上定期重启，帮助AI逃脱学习平坦区域。：能降低显存占用，并略微加快训练速度，适合显卡配置不太好的电脑使用。：余弦学习率，一开始保持一个较高的学习率，然后逐渐降低学习率。：设定一个学习强度，让 AI 一直保持这个学习率来学习。：一开始预热期间学习率会增大，然后退回恒定的学习率不变。

要想训练一个优质的模型，一定要认识和了解模型训练中，参数的作用和意义。整个模型训练的过程，参数并不是一成不变的，也没有固定的模板，当我们修改了模型训练里面的某个参数，很可能就需要连带其他一系列参数的配合调整，同时也需要根据训练时的数值反馈来做出合理的修改及调整。

上一篇完成的打标工作，是为了获取提示词，让AI认识和学习图片的特征。因此，合适、恰当、无误的提示词，对最终模型效果是相当重要的。

纵观整个模型训练流程，图片素材准备和打标环节占据的分量比重，绝对超过60%。上一篇分享了图片素材准备，这一篇，开始对准备好的图片素材进行处理了。

首先要说明的是，模型训练，需要显卡持续不间断地一致运行，快则0.5-1小时左右，慢的话可能需要跑上几小时，甚至是几天，原因跟显卡的配置和训练设置参数都有关系。模型训练与显卡配置：训练 LoRA模型：要求6GB显存及以上训练 Checkpoint：要求8GB显存及以上训练 SDXL模型：要求16GB显存及以上因此，从显卡配置角度来看，更推荐训练 LoRA模型，而且训练 LoRA模型 比其他的要快上很多。我们利用训练好的 LoRA模型，搭配合适的大模型，也能轻松实现各种定制的风格效果。

选择融合模型时，一定要选择风格相互匹配的模型进行融合，不然生成出来的图片会比较奇怪。经过以上两个融合的示例，我们可以看到，想要快速得到一个融合的模型非常简单。但我想在它的基础上，融合一些二次元漫画的风格，出图的效果没那么写实。主要原因就是，我们下载的模型，作者训练时并没有加入VAE色调文件。在「模型A」与「模型B」中分别选择需要融合的模型。完成融合之后，就可以使用得到的模型来生成图片了。「融合算法」选择「加权和」

DPM++ 2M 与 Restart 这两款采样器，在锁定种子的情况下，生成图片比较接近，但在锐度和清晰度方面， Restart 效果更好一些；若分辨率不足，例如人脸特写，则可能出现显示不完整的情况；相反，分辨率过高，则可能出现多头多手的情况（比较渗人）其中，Euler a 效果最朴素，而渲染时间最长的 DPM++ 2M 确实在人物表现方面非常亮眼；不同迭代部署对渲染时间和最终画面的影响是很大的，迭代步数越多，图片的细节越丰富。因此，因为选择 SDXL模型，将宽高调整为。因此，这一步迭代步数设置为。

SDXL 模型需要单独下载：https://huggingface.co/lllyasviel/sd_control_collection/tree/main。下载地址：https://huggingface.co/stabilityai/sdxl-vae/tree/main。SDXL 专用 VAE 文件：sdxl_vae.safetensors。SDXL模型的使用，对电脑配置要求更高，需要 8GB 以上显存的显卡。ControlNet 需要使用专门的 SDXL 模型。不能使用旧的 VAE文件。

SDXL] RongHua | 容华 | 国风大模型：https://civitai.com/models/125634?更强的提示词理解能力：更能听懂人话，无需输入高精度前缀词，输入更少的提示词。学习参数最多的模型：参数总量超过100亿，可对标 Midjourney。与旧 LoRA 不通用：必须与 SDXL 训练的 LoRA 搭配使用。对显卡要求更高：必须配备 8GB 以上的显卡，才能有更好的使用体验。SDXL 占用硬盘空间更多：大模型容量基本在 6GB 以上。SDXL 模型的缺点。

当 SD 使用到了进阶阶段，经常需要添加多个 LoRA 来生成图片，因此，提示词中难免会出现一系列的 LoRA 和相关触发词。原因就是，别人用了 Addition Networks 插件来单独加载 LoRA，这样 LoRA 就不在提示词中显示了，但很多时候，我们直接复制网上别人分享的完整提示词，会发现生成出来的效果不一样，这是怎么回事？所以，你复制过来的，实际上是缺少 LoRA 的提示词，出图自然就不一样了。

添加2个 LoRA 后，要适当调整2个 LoRA 的权重，例如我这里，将一个设置为0.4，另一个设置为0.6（要根据出图效果进行调整权重）。添加第1个LoRA 后的出图，没有将龙的整体形态展示出来，缺少一种巨龙在空中盘旋的感觉，同时，添加多个 LoRA 时，要注意每个 LoRA 的兼容性。中国龙的元素没有展示，并且龙的尾巴长在女孩的身上。而且需要选择跟整体画面画风搭配的 LoRA，添加 LoRA 时，并不是越多越好，没有中国风插画的效果。

模型下载地址：https://huggingface.co/stabilityai/sdxl-turbo/tree/main。SDXL Turbo 模型使用了一种全新的对抗扩散蒸馏技术，能够在保持图片质量的同时，大大降低采样步数，甚至可以一步出图。SDXL Turbo 模型 1步就能够生成出相当可观的画面，继续增加迭代步数，画面细节和清晰度也会有所增加，但超过5不采样就没有必要了，不但增加了渲染时间，而且迭代步数越多，过度拟合的情况越严重。输入提示词，选择下载好的 SDXL Turbo 模型，

PS：如果发现 LoRA模型 没有刷出来，一定要检查大模型是否选对，SDXL模型跟大部分的 LoRA模型不兼容，要换一个模型后再进行刷新！在正向提示词中，点击添加 LoRA，会自动把上一步填写的触发词填写进来；容量比 Checkpoint 大模型要小很多：一般是 200MB 以内。以哩布(https://www.liblib.art/)为例；例如，我将新下载的 LoRA模型 放置在。LoRA 指的是，微调扩散模型。训练速度快，显存8GB或以上即可。不能单独使用，需要搭配大模型。

SD 大模型解决做得「到」的问题，再通过 Lora 和 ControlNet 等方法解决做得「对」的问题。一个好的大模型，首先第一直观印象就是看详情页里作者提供的出图效果，

LCM(潜空间一致性模型) 是由 清华大学信息科学技术研究院 研发的大模型，它最大的特点就是生成图片速度超级快，能在2-4步生成质量不错的图片。PS：LCM_Dreamshaper_v7 模型不能直接使用，需要搭配 sd-webui-lcm插件 使用。尽管生成图片的质量不算太高，但在该技术的帮助下，我们完全可以使用较低的步数，快速的大批量出图，下载链接：https://github.com/0xbitches/sd-webui-lcm。而现在，有了 LCM 技术的加持，已经能做到秒出图，甚至是实时出图。

它的作用，是给我们用来对比不同参数下，生成图片效果的区别。XYZ Plot 是 SD 自带的，无需额外安装。

插件下载地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui-rembg。点击「生成」，首次使用，后台会下载所需文件，如果太慢，可以复制下载链接自行下载，放置到指定的文件夹目录中重启即可使用。rembg 的作用是：一键抠图和获取蒙版。，重载UI 即可使用。

在调整图片宽高时，如果每次都需要用计算器根据比例算好，再手工输入，非常影响效率。推荐使用以下的插件，来实现高效准确地调整图片宽高比例。

在使用 SD 时，如果要修改或者替换图片中的指定元素，最细致、最精致的方法就是使用蒙版进行修改。但涉及到蒙版，又要用PS，而自己是个完全的PS小白。这个问题，现在有 Inpaint Anything 插件可以解决了。

LightFlow 是腾讯开源的工作流插件，通过它可以非常轻松地导入和导出工作流文件，从而快速地加载整个工作流。插件下载地址：https://github.com/Tencent/LightDiffusionFlow。

使用该控制类型，必须先下载2个模型：https://github.com/Mikubill/sd-webui-controlnet/discussions/2589。使用 instant-ID 控制器，用户只需要提供一张正脸图片，就可以快速地给人物生成多角度图片的，从而很好的保持了人物的一致性。控制类型选择「Instat_ID」，预处理器选择「instant_id_face_embedding」；控制类型选择「Instat_ID」，预处理器选择「instant_id_face_keypoints」；

下载地址：https://huggingface.co/h94/IP-Adapter-FaceID/tree/main。IP-Adapter 更新了全新的模型—FaceID plus V2 版本，同时还支持 SDXL 模型。再来试试我钟意的歌手—古巨基的图片，

qrcode 二维码控制器，是一款专用于生成艺术二维码的控制器，

Brightness&illumination 控制器 都需要单独下载，