只能说是未来可期（AI进阶篇：FLUX-5 ControlNet&IP-Adapter）

大家好我是安琪！！！

大部分有了一定AI绘画基础的小伙伴在AI创作的过程中应该都离不开一个东西，那就是ControlNet。

ControlNet一度被视为是AI绘图模型在可控性上的终极解决方案，要知道AI绘画在早期最令人诟病的地方就是其随机性，就像是现在随处能刷到的AI视频一样，你永远不知道他下一步要干啥。

最早的一批官方ControlNet模型是在SD1.5的模型上炼制的，所以无法兼容后续推出的XL乃至现在的FLUX模型。不过目前已经有两个开发团队已经训练出了与FLUX相匹配的ControlNet模型了。

一家叫做XLabsAI的团队训练出了三个单体的ControlNet

这三个ControlNet分别是Canny、HED（SoftEdge）和Depth，这里我比较推荐下载最新的v3版本。

还有另一家叫做InstantX的团队是之前开发InstantID的，他们训练了Canny以及一个ControlNet合集模型，这个Union包含了Canny、Depth、Tile、Openpose等多种控制模式。

在下载完后如果是ComfyUI的话放在这个位置

ComfyUI（根目录）/models/controlnet

如果是ForgeUI的话放在这个位置：

WebUI（根目录）/models/controlnet

在下载完之后可以使用ComfyUI官方提供的工作流，直接将图片拖拽进界面里。

https://comfyanonymous.github.io/ComfyUI_examples/flux/

官方提供的工作流可以配合上篇笔记中提到的FP8优化模型在自带(sd3) ControlNet加载器中使用。

不过原工作流只提供了Canny预处理器

不过这里可以改为另一个节点，双击界面搜索AIO Preprocessor（Aux集成预处理器）然后将原本链接在Canny节点上的线连接在合集预处理器上即可。

使用ControlNet的操作流程：

在Load Image（加载图像）节点上传一张姿势的参考图

将后面AIO Aux Preprocessor里面的预处理类型改为Openpose

在最上面的ControlNet加载器节点选择需要调用的ControlNet模型，选择的是包含了姿势控制的Union模型。

控制姿势的强度则需要通过Apply Controlnet with VAE这个节点内的权重数值来把控,如果是用XLAB那三个Controlnet的话数值推荐在0.6-0.8之间，如果是Union模型则推荐在0.5-0.6。

在CLIP文本编辑器中像正常生图一样输入提示词（根据自己所上传的图片和想要什么姿势写）

之后点击Queue Prompt就可等着生成图片啦！

在这个过程中可能会有小伙伴遇到一些问题，但是目前来说一些生成问题我还没有找到解决的方案。如果遇到了可以私信给我，我可以帮忙看着怎么解决。

除了ControlNet以外就是IP-Adapter了，这个东西就是可以用一张图片实现风格参照与形象固定，甚至能部分取代掉LoRA的作用。

如果想要在ComfyUI中使用的话需要下载两个模型，第一个是FLUX UP-Adapter模型

https://huggingface.co/XLabs-AI/flux-ip-adapter/tree/main

下载后放置在ComfyUI（根目录）models/xlabs/ipadapters

另一个则是Clip_vision模型

https://huggingface.co/openai/clip-vit-large-patch14/tree/main

下载后放在路径：ComfyUI（根目录）/models/clip_vision

此外，还需要在ComfyUI中安装一套XLAB开发的用于支持FLUX模型使用的节点：

然后在ComfyUI中进行节点的链接，文末我会上传原教材视频同款的工作流（原教程17:31处）：

在加载完成后需要在Load Flux IPAdapter节点中将选项都设置为下图所示：

因为FLUX有两个文本编码器所以需要两个提示词输入，不过在这里写完复制到下面就可以了。

有些小伙伴可能看到过这样的节点：

这种其实是被压缩的节点，其中的内容是没有变动的：

要注意模型节点的选项，有些是默认的需要自己改动：

先做个有趣的实验，在我一切节点没有变动的情况下，关闭IP-Adapter的话就会直接生成一个随机人物形象的“举牌”图片。

顺带一提关闭节点的话是在节点右键选择Bypass

接下来我让所有节点正常运行并且在图片上传处随机上传一张图片，之后点击生成

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】