大家好我是安琪!SD插件ControlNET的诞生,无法自定义姿势成为过去,自定义姿势;根据线稿、骨骼、其他图片生成全新的图,AI绘图自主可控;包括边缘检测,深度信息估算;姿态,手势检测;分割等等
场景:个人pose图,模特换装;装修出图;设计草图快速复原;颜色快速更换等等
此扩展用于AUTOMATIC1111的稳定扩散Web UI,允许Web
UI将ControlNet添加到原始稳定扩散模型以生成图像
看下效果,就知道有多强了
安装ControlNET插件:
地址:(可以文末自行扫描获取)
找到右上角的扩展,然后点击从网址安装,把网址输入到下方
报错了:
AssertionError: extension access disabled because of command line flags
解决:
cd xx/stable-diffusion-webui/extensions
git clone https://github.com/Mikubill/sd-webui-controlnet
下载完之后需要重新启动服务才可以生效(启动服务前下载)
成功标志:
模型下载
ControlNET 相关模型(8个),不想自己下载的(可以文末自行扫描获取)
自己下载:
huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
再上面一行的选中 设置(settings),找到contronet ,调试多个contronet为3,最后重新载入UI
插件controlnet介绍
把模型放到刚下载的插件\extensions\sd-webui-controlnet\models下,直接应用并重启界面
首页下方这块有ControlNET的模块,表示成功
基础参数配置与介绍
预处理器
先选OpenPose,后面的模型一定跟预处理器对应一致,比如:预处理器我们选了OpenPose,模型选OpenPose命名的
模型介绍
参考:
github.com/lllyasviel/ControlNet-v1-1-nightly
1 Normal Map
法线贴图控制稳定扩散
模型文件:control_v11p_sd15_normalbae.pth
用途:用在模拟3D模型的表面细节和凹凸纹理
2 Depth(MiDaS和LeReS深度信息估算)
使用深度贴图控制稳定扩散。
模型文件:control_v11f1p_sd15_depth.pth;
预处理器:Depth_Midas、Depth_Leres、Depth_Zoe
3 OpenPose
使用Openpose控制稳定扩散。
模型文件:control_v11p_sd15_openpose.pth
4 MLSD
用M-LSD直线控制稳定扩散。
模型文件:control_v11p_sd15_mlsd.pth
适合建筑物和室内空间
5 Canny
用Canny映射控制稳定扩散。
模型文件:control_v11p_sd15_canny.pth
6 Hed
用软边控制稳定扩散
模型文件:control_v11p_sd15_softedge.pth
跟Canny基本相似,都是边缘检测提取线稿,唯一的不同是,Canny提取的线稿边更锐利,Hed的线稿边缘更柔结果更加接近原图
7 scribble
使用涂写控制稳定扩散
模型文件:control_v11p_sd15_scribble.pth
8 seg
用语义分割控制稳定扩散。
模型文件:control_v11p_sd15_seg.pth
AI革新文字后,图像也是岌岌可危,微调模型的出现,是的训练也变得简单,未来AI的图像世界,可期!!
但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。
这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。
有需要的朋友,可以长按下方二维码,免费领取!
AIGC所有方向的学习路线思维导图
这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
AIGC工具库
AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
有需要的朋友,可以点击下方卡片免费领取!
精品AIGC学习书籍手册
书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。
AI绘画视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。
有需要的朋友,可以长按下方二维码,免费领取!