我的 WebUI 使用体验总结,以及后续学习计划 截止到上周,SD绘画的合集,已更新84篇暂告一段落,后续计划更新 ComfyUI绘画,或者是AI智能体 应用。简单总结下过去3个月,使用 WebUI绘画的体验。
Stable Diffusion绘画 | 签名、字体、Logo设计 目前,只使用了一个电商的LoRA来生成上方的图片,我们还可以继续添加符合该场景调性的LoRA进行互相搭配。点击「生成」,就能得到具有中国特色的水彩画的。第1步,使用 PS(小白推荐使用。
Stable Diffusion绘画 | 人物、场景、3D转手绘线稿 第1步,输入线稿生成必备的提示词:第2步,开启 ControlNet,加载需要转绘的图片,控制类型选择「SoftEdge」,预处理器选择「softedge_hed」:第3步,添加一个线稿 LoRA:生成图片效果如下:去除上色效果:monochrome轮廓边缘线条变细:第1步,开启 ControlNet,控制类型选择「Lineart」:换一个建筑专用的线稿Lora,权重设置为0.6:生成图片效果如下:对于 3D物体,ControlNet 的控制类型,建议选择「Canny」:叠加2个LoRA:
Stable Diffusion绘画 | AI 图片智能扩充 第一轮扩充得到的图片,两边的扩充,接缝明显,而且色调差异大,非常不自然。来到「文生图」页面,输入固定的起手式提示词。,选择一个与加载图片相对一致的大模型。现在先进行宽度扩充,扩充为。
Stable Diffusion绘画 | 如何做到不同动作表情,人物角色保持一致性(下篇) 在 人物角色保持一致性(上篇)中,我们已经得到了自己创造的角色的各个角度头像图片:从中选择一个符合自己需求的角度,截图保存,例如下图:进入到「图生图」页面,把上一篇中生成图片的正反向提示词复制过来:在下方加载刚才得到的截图:开启「ADetailer」脸部修复模型:在「ADetailer」加入提示词 ,重绘幅度设置为 ,点击「生成」:得到图片如下:优化调整的方向有2点:在控制表情时,我们需要在权重间找到一个平衡点,过低会不明显,过高则会容易导致人物外貌走样。返回「文生图」页面,保持人物生成的提示词,开启 Co
Stable Diffusion绘画 | 如何做到不同动作表情,人物角色保持一致性(上篇) 由于 SD 具有强大的可控性,在固定人物角色方面,SD 是远超 MJ 的,其中最好用,也是最优先的方法就是训练一个自己专属的角色模型,例如之前使用秋叶训练器得到的 LoRA模型。
Stable Diffusion绘画 | 插件-Deforum:动态视频生成(上篇) Deforum与不太一样,是生成丝滑变化视频的,而Deforum的丝滑程度远远没有好。它是根据对比前面一帧的画面,然后不断生成新的相似图片,来组合成一个完整的视频。Deforum的优点在于可控性好,提示词的变化,镜头的运动方向,画面的变化程度,以及噪声加入的多少,甚至中途改变模型都可以控制。通过Deforum可以很清晰的制作瞬息全宇宙的动态视频效果。
Stable Diffusion绘画 | AnimateDiff:用AI制作动画 使用插件,我们只需要按时间节点,输入不同的提示词,就可以非常轻松地生成一系列丝滑的动画。的底层技术框架,是由 上海人工智能实验室 & 香港中文大学 & 斯坦福大学 联合研发的,它能很好地结合 SD 的各种模型,以及配合 ControlNet 和 Upscale 来生成出可控的高清丝滑视频。
Stable Diffusion绘画 | 来训练属于自己的模型:LoRA模型验收 上面👆展示了15个模型的出图,其中我较为满意的(既能符合提示词,像霉霉,又能保持插画风格),只有03、06、07号模型。我们每次训练出来的模型,一般都会生成 20-30 个,至于哪个模型符合要求,较为理想呢?我想其中的原因是:随着训练轮次越多,AI已经把素材的特征完全学定型了。再更换其他的提示词,多试几轮,留下出满意的 LoRA 模型以后使用。我最终选择留下 06、07 两个模型,其他的都可以选择删掉。这个提示词了,而且越来越接近真人模型,缺少插画风格。因此,从10轮过后的模型,都可以直接删掉。
Stable Diffusion绘画 | 来训练属于自己的模型:秋叶训练器使用 花了不少时间搜索尝试,都没有找到解决上一篇文章遗留问题的解决方案,导致无法使用这个工具来完成炼丹,看不到炼丹效果。但考虑到,以后还是要训练自己的模型,于是决定放弃, 使用秋叶训练器。
Stable Diffusion绘画 | 来训练属于自己的模型:配置完成,炼丹启动 余弦退火重启,在余弦学习方法基础上定期重启,帮助AI逃脱学习平坦区域。:能降低显存占用,并略微加快训练速度,适合显卡配置不太好的电脑使用。:余弦学习率,一开始保持一个较高的学习率,然后逐渐降低学习率。:设定一个学习强度,让 AI 一直保持这个学习率来学习。:一开始预热期间学习率会增大,然后退回恒定的学习率不变。
Stable Diffusion绘画 | 来训练属于自己的模型:炼丹参数调整--步数设置与计算 要想训练一个优质的模型,一定要认识和了解模型训练中,参数的作用和意义。整个模型训练的过程,参数并不是一成不变的,也没有固定的模板,当我们修改了模型训练里面的某个参数,很可能就需要连带其他一系列参数的配合调整,同时也需要根据训练时的数值反馈来做出合理的修改及调整。
Stable Diffusion绘画 | 来训练属于自己的模型:打标处理与优化 上一篇完成的打标工作,是为了获取提示词,让AI认识和学习图片的特征。因此,合适、恰当、无误的提示词,对最终模型效果是相当重要的。
Stable Diffusion绘画 | 来训练属于自己的模型:素材处理与打标篇 纵观整个模型训练流程,图片素材准备和打标环节占据的分量比重,绝对超过60%。上一篇分享了图片素材准备,这一篇,开始对准备好的图片素材进行处理了。