重磅消息！Flux 生态迎来大爆发，全新植入 4 大模型，解锁局部重绘、扩图与风格变体新技能

上周 Flux 模型研发方 Black Forest Labs 突然又发布了 4 款新的模型，而且都非常实用，支持对图像进行外绘扩展、局部重绘和生成风格变体，此外还有 depth 和 canny 的控制功能。

其实开源社区已经自发训练了基于 Flux.1 的 Controlnet 模型，所以这次看到官方亲自下场做模型还是挺惊讶的，我都在想是不是官方觉得目前的模型不够好，所以决定自己动手来做。不过多一些新模型对我们普通用户来说肯定不是坏事，尤其是新增的 Fill 模型，可以对图像实现完美局部重绘和外绘拓展，对设计工作来说非常帮助。那今天我们就一起来看看这些新模型的特点和用法。

一、模型简介

此次 Flux 的一共发布了 4 大类模型，分别是分别是 Fill 重绘/拓展、Depth 深度控制、Canny 线条控制和 Redux 风格变体。

FLUX.1 Fill 主要包含 inpainting（局部重绘）和 outpainting （外绘拓展）两大功能。官方称这是目前最好的图像修复模型，不仅处理速度快，新生成的内容也可以和原图无缝衔接。

FLUX.1 Depth 和我们熟知的 Controlnet depth 作用是一样的。先提供一张图像，它会提取其中的深度结构，然后结合提示词生成一张相似的新图像。官方提供给了大模型和 Lora 两种方式来实现此效果，大模型可以单独使用，LoRA 需要与 FLUX.1 大模型搭配使用。Flux.1 Canny 同理。

FLUX.1 Redux 可理解为一个图像变体生成模型，作用类似于 IP-Adapter。给出一张图像，它可以生成在内容、构图、风格、角色特征等方面类似的新图像。官方表示它适合集成到一些更复杂的工作流中，帮助用户通过图像来引导新图像的生成。

二、本地部署

模型链接： https://modelscope.cn/collections/FLUX–xilie-fa15f85b917d42 （文末有全部 6 款模型及相关工作流）

ComfyUI 工作流： https://comfyanonymous.github.io/ComfyUI_examples/flux/

以上 4 大工具的相关模型都已经开源，ComfyUI 也在第一时间进行了兼容支持，并发布了详细的教程和示例工作流。不过这次的模型都很大，对显存的要求会更高（保守 16G 以上），可能一些小伙伴的设备带不动，所以我在下一章也推荐了一些线上试玩渠道。下面先看看不同模型的本地使用方法。

① FLUX.1 Fill

Fill 功能对应的模型是 flux1-fill-dev.safetensors，模型大小 23.8 G。使用时先将 ComfyUI 更新到最新版本，然后将模型安装到根目录的 ComfyUI/models/unet 文件夹。

Inpainting 局部重绘的具体工作流如下。上传图像后，在图像上单击右键，选择 Open in MaskEditor（在蒙版编辑器中打开），然后用画笔涂抹需要重绘的部分，再填写提示词，最后生成即可。

Outpainting 外绘拓展的工作流和操作步骤则略有不同。上传图像后，先在 Pad Image for Outpainting 节点中设置需要外绘拓展的尺寸，freathering 参数可以对边缘进行羽化，让图像衔接更自然；再填写提示词描述整体画面，最后点击生成。

由于 flux 具有强大的文本渲染能力，所以对图像局部重绘时，可以对原有文本进行修改，这带来了很多有创意的玩法。比如我们可以将电影海报的标题改为任意自己喜欢的内容，新的字体还能与原字体的样式保持一致，效果很令人惊喜。

图像来源:Fal 网站的 Flux Fill Tool Demo（第三章有链接）

局部重绘和外绘拓展 AI 绘画来说是非常重要的功能，但是好用的一般都要收费，免费的则使用有门槛，而且很多效果也不好。但从前面的测试结果来看，Flux Flill 的图像修复效果的确是目前顶尖的，而且对个人来说，只要部署到本地就能免费无限制的使用，还能处理 2K 级别的高清图像，真的非常方便了。

② FLUX.1 Depth & Canny

对于 Depth 和 Canny 控制功能， 官方给出了两类模型：大模型和 lora 模型。

大模型有 23.8G，可以单独使用；Lora 模型只有 1G 多，使用方法和一般的 flux lora 一样，在基础文本图工作流上接入一个 load lora 节点就可以了。但是从网友的实测效果来看，lora 的效果比大模型差很多，生成时不仅容易出现细节丢失，而且图像质量也很低，所以不推荐使用。

下面只简单讲一下大模型的使用方法。由于这两个大模型实在太大了，运行起来很费劲，而且控制效果也没有特别好，甚至比不上开源社区目前已有的 Flux Controlnet 模型。所以这一部分建议大家了解一下就行，没必要非得用官方推出的这 4 个模型。

使用方法：先将 ComfyUI 更新到最新版本，然后将 flux1-depth-dev.safetensors 和 flux1-canny-dev.safetensors 大模型放到根目录的 ComfyUI/models/unet 文件夹。Depth 和 Canny 的工作流主体是一样的，只是在图像预处理部分有所不同。

③ FLUX.1 Redux

Redux 应该是此次推出的模型中可玩性最高的，因为它可以很好地保留原图的特征，包括风格、构图、细节、人物特征、服装特征等细节，所以能应用的范围非常广。比如用于保持人物一致性：

或者将多张图像的不同部分进行融合：

图像来源：Twitter @Datou

Redux 可以 flux dev 或 schnell 模型配合使用， 具体方法如下：

1）将 ComfyUI 更新到最新版本。下载 sigclip_vision_patch14_384.safetensors 模型，安装到ComfyUI/models/clip_vision 文件夹中，下载 Flux1-redux-dev.safetensors 模型，放入 ComfyUI/models/style_models 文件夹中。

2）对于单张图像，先安装 ComfyUI_AdvancedReduxControl 插件，它可以调节控制图像/提示词的应用强度，从而得到更好的图像融合效果。然后从插件文件夹中加载官方工作流 advanced_workflow 进行使用。

插件链接： https://github.com/kaibioinfo/ComfyUI_AdvancedRefluxControl

3）上传图像后，用文本描述想要的图像内容/风格，然后在 ReduxAvance 节点中调节图像与文本的融合强度。主要参数是 downsampling_factor ，决定原图像对生成图像的影响强度，数值范围1-5。

4）如果想融合 2 张图像的特征，可以先安装 Comfyui_Flux_Style_Ctr 插件，然后下载 Datou 老师的 Pokemon Workflow 3.0 工作流进行使用。

插件地址： https://github.com/StartHua/Comfyui_Flux_Style_Ctr

工作流： https://openart.ai/workflows/datou/pokemon-workflow-30-flux-redux/0q8ftFHisaIIEOovzNRC

三、在线试玩

如果你无法本地部署 Flux 的这些新模型，也可以通过以下方式在线体验。

① Glif - Flux(dev) Redux Merger

网址直达： https://glif.app/@HighDruidMotas/glifs/cm3rts26x0012105qfck7jdfh

这个 Glif 小应用是基于 Flux Redux 创建的，只需上传两种图像，然后描述你想要的融合效果，就能轻松将两个图像的特征完美融合到一起。

② Fal

网址直达： https://fal.ai/flux-tools

Fal 对新出的 Flux 4 大功能进行全面支持，新用户都有免费试用额度。

③ Replicate

网站直达： https://replicate.com/black-forest-labs

Replicate 上也有对 Flux 4 大模型进行全面支持，新用户都有免费试用额度。

那么以上就是本期对 Flux 四大新模型的相关介绍

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。

二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】