AI进阶篇：FLUX-5 ControlNet&IP-Adapter

（FLUX的controlnet和IPA部分下载及使用）

大部分有了一定AI绘画基础的小伙伴在AI创作的过程中应该都离不开一个东西，那就是ControlNet。

ControlNet一度被视为是AI绘图模型在可控性上的终极解决方案，要知道AI绘画在早期最令人诟病的地方就是其随机性，就像是现在随处能刷到的AI视频一样，你永远不知道他下一步要干啥。

最早的一批官方ControlNet模型是在SD1.5的模型上炼制的，所以无法兼容后续推出的XL乃至现在的FLUX模型。不过目前已经有两个开发团队已经训练出了与FLUX相匹配的ControlNet模型了。

一家叫做XLabsAI的团队训练出了三个单体的ControlNet

https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main

这三个ControlNet分别是Canny、HED（SoftEdge）和Depth，这里我比较推荐下载最新的v3版本。

还有另一家叫做InstantX的团队是之前开发InstantID的，他们训练了Canny以及一个ControlNet合集模型，这个Union包含了Canny、Depth、Tile、Openpose等多种控制模式。

https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union/tree/main

在下载完后如果是ComfyUI的话放在这个位置

ComfyUI（根目录）/models/controlnet

如果是ForgeUI的话放在这个位置：

WebUI（根目录）/models/controlnet

在下载完之后可以使用ComfyUI官方提供的工作流，直接将图片拖拽进界面里。

https://comfyanonymous.github.io/ComfyUI_examples/flux/

官方提供的工作流可以配合上篇笔记中提到的FP8优化模型在自带(sd3) ControlNet加载器中使用。

不过原工作流只提供了Canny预处理器

不过这里可以改为另一个节点，双击界面搜索AIO Preprocessor（Aux集成预处理器）然后将原本链接在Canny节点上的线连接在合集预处理器上即可。

使用ControlNet的操作流程：

在Load Image（加载图像）节点上传一张姿势的参考图

将后面AIO Aux Preprocessor里面的预处理类型改为Openpose

在最上面的ControlNet加载器节点选择需要调用的ControlNet模型，选择的是包含了姿势控制的Union模型。

控制姿势的强度则需要通过Apply Controlnet with VAE这个节点内的权重数值来把控,如果是用XLAB那三个Controlnet的话数值推荐在0.6-0.8之间，如果是Union模型则推荐在0.5-0.6。

在CLIP文本编辑器中像正常生图一样输入提示词（根据自己所上传的图片和想要什么姿势写）

之后点击Queue Prompt就可等着生成图片啦！

在这个过程中可能会有小伙伴遇到一些问题，但是目前来说一些生成问题我还没有找到解决的方案。如果遇到了可以私信给我，我可以帮忙看着怎么解决。

除了ControlNet以外就是IP-Adapter了，这个东西就是可以用一张图片实现风格参照与形象固定，甚至能部分取代掉LoRA的作用。

如果想要在ComfyUI中使用的话需要下载两个模型，第一个是FLUX UP-Adapter模型

https://huggingface.co/XLabs-AI/flux-ip-adapter/tree/main

下载后放置在ComfyUI（根目录）models/xlabs/ipadapters

另一个则是Clip_vision模型

https://huggingface.co/openai/clip-vit-large-patch14/tree/main

下载后放在路径：ComfyUI（根目录）/models/clip_vision

此外，还需要在ComfyUI中安装一套XLAB开发的用于支持FLUX模型使用的节点：

然后在ComfyUI中进行节点的链接，文末我会上传原教材视频同款的工作流（原教程17:31处）：

在加载完成后需要在Load Flux IPAdapter节点中将选项都设置为下图所示：

因为FLUX有两个文本编码器所以需要两个提示词输入，不过在这里写完复制到下面就可以了。

有些小伙伴可能看到过这样的节点：

这种其实是被压缩的节点，其中的内容是没有变动的：

要注意模型节点的选项，有些是默认的需要自己改动：

先做个有趣的实验，在我一切节点没有变动的情况下，关闭IP-Adapter的话就会直接生成一个随机人物形象的“举牌”图片。

顺带一提关闭节点的话是在节点右键选择Bypass

接下来我让所有节点正常运行并且在图片上传处随机上传一张图片，之后点击生成

IP-Adapter就能读到创作者的意图并将参考图转化为生成图的一部分。

不过风格参照只是IPA的基本用途之一，它还可以用来塑造人物形象甚至是给人物换衣服、换脸等，感兴趣的小伙伴可以自己试试。

---

今天的内容就到这里啦！

写了这五篇笔记后我觉得FLUX更像是一个未来可期的东西，现在虽然有很多大佬团队致力于开发FLUX的潜力，但是就目前来看FLUX并不是第一选择。

更何况其对硬件要求比较高就劝退了不少感兴趣的小伙伴，如果不是4070（非移动端）及以上的显卡来运行是会有些吃力的，只能求助于线上平台或者云服务器。

FLUX对于现在的AI生图领域来说，像是一个很高的成本做出了现在看起来不是很好用的东西。不过相信等到后续更强大的显卡和更多的优化手段出现，FLUX终会有登上舞台的一天。

我会在下篇文章更新一下最新的模型素材，包括FLUX学习过程中用到的东西上传到百度云中供大伙下载。

大伙下篇笔记见，拜了个拜！

写在最后

FLUX相关的模型、工作流以及全套的AI绘画学习资料已经给各位小伙伴打包好了，有需要的可以扫码自取，无偿分享。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除