超级好用的 SDXL-ControlNet 模型:Anytest,不止是线稿转绘,还能帮你补全线稿以及二创哦!

今天给小伙伴们介绍一个 SDXL-ControlNet,万能控制模型:Anytest,操作很简单,不需要预处理器,直接使用即可。

基础的功能包括根据线稿生成图像,对图片进行风格转绘,这个没啥好讲的。

Anytest 有几个有趣的用法,针对轮廓不明显的构图,也可以生成质量不错的图片。

不仅如此,Anytest 还可以帮你完善不完整的草图,包括在图片上进行二创。

这么讲小伙伴们可能没有太大感觉,我们直接看效果吧!


我们还是在 ComfyUI 中进行演示,工作流就是基础的 ControlNet 工作流。

img

作者提供的 Anytest 的模型比较多,推荐我们使用的主要是红框中的两个模型,这两个模型的兼容性比较好。

不过既然有 V3 和 V4,那理论上来说应该 V4 更优秀一些才对,不过也不能这么绝对!

我们就以这两个模型来体验对比一下吧!

不过这两个模型有点大,如果显存不够的小伙伴可以下载 dim256 版本的,可以看到模型的名字中有 am 和 pn 之分,am 代表是动漫大模型,pn 代表是以 Pony 为基础模型炼制的大模型,小伙伴们按需下载就可以了。

模型下载链接和网盘都会放在文末。

img

好了,模型介绍完了,我们来看看具体的效果如何。

先来个简单的根据画稿生成图片,两个模型都精确的识别了线稿并生成了图片,个人觉得 v4 的出图效果更棒一些。

提示词:analog film photo One girl, casual, faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage

img

根据图片生成图片,这次感觉两个模型生成的图片区别不是很大,人物的复刻也算是完美,当然我们也可以使用不同的 Lora 模型进行风格转绘。

提示词:(masterpiece), (best quality), (ultra-detailed), One girl, ahanfu, illustration, disheveled hair, detailed eyes, perfect composition, moist skin, intricate details, earrings, by wlop

img

基础功能介绍完了,我们来看点不一样的。

即使是很粗糙的人物轮廓,Anytest 也可以很好的绘制出人物以及场景,不过这里需要注意的是,图片中的人物细节以及场景的细节尽量在提示词中有所体现,要不然效果不太好哦!

不同提示词的出图效果差别还是蛮大的,如果效果不佳可以试着调整下提示词。

提示词:(masterpiece), (best quality), (ultra-detailed), 1 girl, blouse, stand on the bridge and watch the fireworks from far away., illustration, disheveled hair, detailed eyes, perfect composition, moist skin, intricate details, earrings, by wlop

img

还有这种多人的也可以。

提示词:(masterpiece), (best quality), (ultra-detailed), 2girl,summer_dress, illustration, disheveled hair, detailed eyes, perfect composition, moist skin, intricate details, earrings, by wlop

img

即使是上传不完整的线稿图也可以自动补全线稿并生成图片。

提示词:High Fashion, 1girl, , dynamic, dramatic, haute couture, elegant, ornate clothing, High Fashion

img

还有一种很有趣的用法。

我们找一张自己喜欢的草图,在草图上随便画几笔,比如下边这个作者在左边图片的基础草图上画了几条粗线条,最终通过 Anytest 完美的融合进了图片里。

img

我们直接就用他这张图来试试效果吧,这里说一下,新增的线条就用正常的画笔工具画就行了,不是蒙版哦!

提示词:art illustrating insane amounts of raging elemental energy turning into 1girl, avatar of elements. magical surrealism, wizardry. best quality, high resolution

效果还是很不错滴。

img

不仅可以在草图上,在图片上也可以进行二次创作然后生成新的图片。

提示词:surrealist art 1girl,Scarves . dreamlike, mysterious, provocative, symbolic, intricate, detailed

img

想要动漫人物或者线稿人物转真人也可以的,找一个支持真实人像的大模型就可以了,不过 V3 看着还是有点像动漫风格,V4 的真实人像风格就比较明显了,从这里看 V4 的泛化性更好一些。

提示词:glamorous photo 1girl,best quality,masterpiece,realistic, high fashion, luxurious, extravagant, stylish, sensual, opulent, elegance, stunning beauty, professional, high contrast, detailed

img

好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!

模型下载地址:https://huggingface.co/2vXpSwA7/iroiro-lora/tree/main/test_controlnet2

网盘链接:https://pan.quark.cn/s/ebd83f47edcb

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

<think>好的,用户想了解ControlNet模型的相关信息,包括安装、配置、使用方法和下载链接。首先,我需要整理已有的引用内容,确保信息准确且覆盖用户的需求。 根据引用[1],ControlNet有两种加载器,其中DiffControlNet加载器更通用,支持diffusers格式。需要提醒用户注意模型与SD版本的兼容性,比如SD1.5和SDXL不能混用。引用[3]和[4]提供了插件和项目的安装地址,需要检查链接是否正确可用。引用[2]提到下载ControlNet++模型的命令,用户可能需要具体的下载步骤和注意事项。引用[5]说明Web UI扩展的功能,应该强调其交互性和多条件控制的特点。 接下来,用户可能需要分步骤的指导。安装部分要区分Web UI插件和独立库安装,确保步骤清晰。配置部分要提到模型存放路径和版本匹配,避免用户出错。使用教程需要简单说明流程,比如加载模型、输入条件、生成结果。下载链接要整理引用中的各个来源,并补充其他可能的资源,如Hugging Face社区。 还要考虑用户可能遇到的问题,比如环境配置、版本冲突、模型选择错误。需要提前在注意事项中提醒,例如Python环境、依赖安装、模型类型区分等。此外,生成相关问题时要围绕用户可能进一步的需求,比如优化配置、常见错误解决、高级应用场景等。 最后,确保回答结构清晰,分点列出安装、配置、使用教程、下载链接和注意事项,每个部分都引用正确的来源,并在末尾添加相关问题。语言要简洁明了,符合中文习惯,避免使用专业术语过多,必要时给出示例命令或路径。</think>### ControlNet模型使用教程与安装配置指南 #### 一、ControlNet模型安装 1. **Web UI插件安装** - 适用于Stable Diffusion Web UI用户,通过插件形式集成ControlNet功能。 - 安装步骤: ```bash # 进入Web UI扩展目录 cd stable-diffusion-webui/extensions # 克隆ControlNet插件仓库 git clone https://github.com/Mikubill/sd-webui-controlnet ``` 重启Web UI后,在扩展列表启用插件[^3]。 2. **独立库安装(ComfyUI等框架)** - 使用`DiffControlNetLoader`加载器支持更通用模型(包括diffusers格式): ```bash # 安装ControlNet核心库 pip install diffusers transformers # 下载SDXL兼容的ControlNet++模型 git clone https://huggingface.co/xinsir/controlnet-union-sdxl-1.0 ``` 注意:SD1.5与SDXL模型不可混用[^1][^2]。 --- #### 模型配置 1. **模型存放路径** - Web UI插件:将`.safetensors`或`.ckpt`格式的ControlNet模型放入: `stable-diffusion-webui/extensions/sd-webui-controlnet/models` - ComfyUI:模型需存放于`ComfyUI/models/controlnet`目录下[^1][^4]。 2. **版本匹配** - 确保ControlNet模型与基础模型(如Stable Diffusion 1.5或SDXL)版本一致。 - 示例:SDXL需搭配`controlnet-union-sdxl-1.0`。 --- #### 三、使用教程 1. **基础流程** - **加载模型**:在Web UI中选择ControlNet插件,通过`ControlNetLoader`或`DiffControlNetLoader`加载模型[^1]。 - **输入条件**:上传深度图、边缘检测图等控制条件(支持多条件组合)[^5]。 - **生成结果**:调整权重参数(0.6-1.2为常用范围)并启动生成。 2. **代码示例(ComfyUI)** ```python from diffusers import ControlNetModel, StableDiffusionControlNetPipeline controlnet = ControlNetModel.from_pretrained("xinsir/controlnet-union-sdxl-1.0") pipeline = StableDiffusionControlNetPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet) ``` --- #### 四、模型下载链接 | 模型名称 | 适用框架 | 下载地址 | |-------------------------|----------------|--------------------------------------------------------------------------| | ControlNet++ Union | SDXL | [Hugging Face](https://huggingface.co/xinsir/controlnet-union-sdxl-1.0) | | 标准ControlNet模型 | SD1.5/Web UI | [官方仓库](https://gitcode.com/gh_mirrors/co/ControlNet) [^4] | --- #### 五、注意事项 1. **环境依赖**:需Python≥3.8、PyTorch≥1.12,推荐使用虚拟环境。 2. **显存要求**:SDXL+ControlNet需≥8GB显存。 3. **模型类型**:区分`canny`(边缘检测)、`depth`(深度图)等不同控制类型。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值