krita-ai-diffusion简介
在AIGC图像生成领域的迅猛发展下,当前的AI绘图工具如Midjourney、StableDiffusion都能够近乎完美的生成逼真富有艺术视觉效果的图像质量。然而,针对人物手部细节的处理依旧是难题之一,常见问题包括AI对手指处理不准确,导致手指黏连或数量异常(4指、6指)等。虽然已有很多方式面部和手部修复处理,如:adetailer、HandRefiner
等;面部修复问题基本解决,但是手部仍不完美,特别是手部褶皱感。因此笔者将在本文介绍一种高效的快速后期处理方案:krita-ai-diffusionAI智能绘图工具结合ComfyUI,这是一款Krita 绘图软件的生成式AI智能插件。当然krita-ai-diffusion修手仍然也需要大量抽卡,不过它可以通过方便快捷的使用体验,以及调整seed种子和strength强度加速修手抽卡的成功率。
krita与krita-ai-diffusion安装
在开始修手之前,首先需要下载Krita绘图软件并安装,这是一款开源免费的软件,因此我们可以自由本地部署和使用。下载地址为:https://krita.org/zh-hk/download/ 。
然后,我们还需要下载对应的生成式AI智能插件krita-ai-diffusion,下载地址为:https://github.com/Acly/krita-ai-
diffusion/releases/tag/v1.18.1。下载完后需要解压压缩文件,并将其拷贝到本地:C:\Users\[用户名]\AppData\Roaming\krita\pykrita目录下,请将这里用户名改为本地登录主机用户名(笔者为admin)。
然后打开刚安装的Krita 软件,打开菜单设置Setting
->Configure Krita
->Python Plugin Manager
,勾选上AI Image Diffusion
选项。然后,重启Krita 软件,并拖拽打开需要修手的图像。
在菜单Setting
->Dockers
->AI Image Generation
,勾选该菜单,就可以在窗口界面看见AI ImageGeneration 工具箱了。首次打开,需要点击Configure按钮打开设置框设置运行的SD模型配置。在这里既支持本地直接不是SD模型使用,也支持远程模型生成、以及直接已有的本地ComfyUI
软件。在这里笔者使用的是ComfyUI
软件。注意首先需要启动ComfyUI
并设置API端口:127.0.0.1:8188
,并点击connect连接测试。
首次连接一定是会失败的,因为我们还需要安装一些ComfyUI
插件和模型下载才能工作
- • 需要安装模型下载说明文档可文末自行扫描获取 (这里可以通过点击connect按钮一步一步通关,软件使用体验做的很好,每次报错会说明缺失模型,以及下载文档地址)
在这里也可以增加自定义模型,笔者使用的是AWPortrait 模型,该模型为SD1.5模型,是一款优秀真人写实摄影模型。模型下载地址为:
- AWPortrait(修手模型)
• kimchiMix(绘图模型)
ComfyUI与Krita修手体验
如果你顺利完成上面的安装步骤,现在就可以进入修手体验环节了。首先拖拽一副需要修手的图像打开krita编辑器,并利用区域选择器(这里支持矩形、椭圆形、多边形区域选择),选择需要修手的部分。然后点击AI ImageDiffusion
工具中Live
选项并启动服务,然后调整Seed种子 和strength强度,开始局部生成手部图片。在这过程中不能一步到位,而是适当选择满足修复方向的手势替换原图,在进行第二次修手,这样经过多轮的修复直到达到满意的手部姿势为止。其中也需要适当调整strength强度,以便于快速寻找到修正方向。
ComfyUI与Krita修手演示案例
在这里可以同时结合SD-WebUI局部重绘实现整体修正。对于大面积修复使用SD-WebUI,局部细节如手指采用ComfyUI与Krit修复。对于使用ComfyUI与Krita修复,注意调整强度值,初期与期望相差较大时候,可加强强度值快速得到修正方向。当确定方向并且接近期望时,则降低强度值稳定整体姿势重复抽卡修复。
可以清晰的看到修复后的手光滑度,没有褶皱痕迹。
这里直接将该软件分享出来给大家吧~
1.stable diffusion安装包
随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。
最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。
5.SD从0到落地实战演练
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的stable diffusion资料我已经打包好,需要的点击下方插件,即可前往免费领取!