大家好,我是程序员晓晓
之前为大家梳理了 Flux 开源模型的一些简单用法,今天我们继续了解一些 Flux 基础工作流,如图生图、高清放大、局部重绘等相关用法。最强AI绘画大模型 Flux【基础篇】:ComfyUI Flux.1工作流的本地部署安装教程
本期教程所用到的模型文件和安装包工具等资料请看文末扫描获取哦
一、文生图工作流
之前为大家介绍过 2 款 Flux 基础文生图工作流,但其中原版工作流用到的模型节点较多,有的小伙伴在使用时一个不小心就会选错,导致工作流运行出现报错或者生成效果不佳,今天就再介绍一下其中比较重要的参数设置。
① weight_dtype(剪枝类型):目前大家用的最多的应该还是 dev fp8 这个模型 ,那么对应的 weight_dtype 记得要选 fp8_e4m3fn,如果选默认生成时间会变很长。
② t5xxl 模型有 fp16 和 fp8 两款可选,它们对画面整体效果没有很大影响,只是 fp16 的细节会更精致,但是占用的资源也会更多,所以一般选 fp8 就足够了。type 类型记得要选 flux,而非 sdxl 或者其他。
③ Flux 模型对图像尺寸的兼容性非常好,无论是 512768 这样的小尺寸,还是 3001200 这样的极限画幅比,Flux 的生成效果都很好。因此如果你的显存不是很高,建议先生成小尺寸图像, 然后再放大。
④ 官方推荐的 sampler/scheduler 配置是 euler+simple,但这个搭配并非绝对,开源社区的大神测试出 ipdmn +simple、uni_pc+bh2+simple、 euler+beta 等配置可以得到更好的出图效果,大家可多做尝试。
⑤ 官方推荐的 guidance 数值为 3.5,但它也可以在 2-5 之间灵活调整。当数值小于 3 时,生成的图像的艺术风格会更明显;在 3-3.5 时,兼容性最好,可以应对不同的场景;数值大于 3.5 时,画面细节会有所增强,但是对比度会变得非常高。
另外,Flux 模型本身不需要负面提示词和 CFG 参数,但在某些场景中还是需要加上一个空的 Clip_Text_Encoder 节点,来保证工作流正常运行;如果连接的节点中有 CFG 参数,记得数值要设置为 1,否则会影响画面效果。
二、图生图
图生图的工作流非常简单,只需在文生图的基础上,加上一个「图像上传」和一个「VAE 编码」节点即可。图生图可以用来小幅度调整画面效果,如修改画面质感、风格、人物表情、装饰物等。
图生图的效果主要通过 2 个参数来控制。一是提示词,我们要将需要修改的内容填写到正向提示词中,比如你想将一张真人照片转为动漫风格,就需要在提示词中加上 “anime style” 这样的提示词;另一个是 Denoise 去噪参数,数值范围 0-1,数值越高,生成的画面与原图的差别会越明显。
三、高清放大
由于高清放大是在图像生成后进行的,因此我们只需将常用的放大工作流接在 Flux 文生图或图生图工作流后面就可以了。目前比较受欢迎的放大节点是 Ultimate SD Upscale,放大模型推荐选 4x-UltraSharp。使用此节点需要添加一个空的负面提示词节点,并且 cfg 参数也要调整为 1。
四、局部重绘
这里推荐 2 种局部重绘的方式,一是添加 VAE Encode(for inpainting)节点,虽然简单但是重绘效果非常不错;另一个是更复杂一点,使用了 differential diffusion、guassian blur mask、Inpaint model conditioning 节点,重绘效果更自然精细。
使用局部重绘时需要注意两点,一是涂抹局部重绘区域时,边缘可以适当向外多涂一点,这样重绘效果更自然;二是多调整 denoise 的数值,一般在 0.8 或者以上会有比较好的效果。
方法①
方法②
五、IP-Adapter
模型下载: https://huggingface.co/XLabs-AI/flux-ip-adapter (注意:该链接需科学上网,模型下载请看下方扫描免费获取哦)
XLab 在上周又推出了针对 Flux 的 IP-Adapter 模型,可以学习一张图片的色调风格、内容构成以及角色形象。虽然目前效果不如 SD1.5 和 SDXL 准确稳定,但是用来提取风格效果还是不错的,官方也表示目前只是第一版,未来将推出更稳定的版本。
使用方法:
① 更新 ComfyUI,安装或更新 x-flux-comfyui 到最新版本;安装包下载请看下方扫描免费获取哦
② 扫描加我后下载 clip_vision_l.safetensors 文件,安装到根目录的 models/clip_vision 文件夹;再下载 flux-ip-adapter.safetensors 文件,安装到 models/xlabs/ipadapters 文件夹中。
③ 启动 ComfyUI,从 custom_nodes\x-flux-comfyui\workflows 中加载对应的 ip_adapter_workflow 工作流。
④ 上传需要学习的图像,检查每个节点的模型选择是否正确,然后点击生成即可。ip_adapter 的强度设置在 0.8 左右比较合适,如果觉得效果不好,可以尝试在 Xlab Sampler 节点中将 true_gs 数值设置为 2。记得多生成几次,可以得到更好的结果。
那么以上就是本期为大家推荐的 5 款 Flux 基础实用工作流,文内的工作流文件都可以扫描后获取。如果文章对你有帮助,记得点赞、收藏、评论支持一波,我会有更动力为大家推荐新的干货内容~
ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。相关系统教程配套资源都可以免费分享给你,能帮你快速掌握这款目前最热门的 AI 绘画工具。
![](https://img-blog.csdnimg.cn/img_convert/da47c843c4a85c0076c0ecef5df68c17.png)
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
![](https://img-blog.csdnimg.cn/img_convert/da47c843c4a85c0076c0ecef5df68c17.png)