FLUX.1最强AI绘画开源新模型,本地部署教程!

Flux最近收到了很多模型爱好者的好评,出图质量超越SD3和MJ,许多人说Flux才是大家心目中的SD3,所以我也是非常好奇FLux的实力在这里把本地部署的过程分享给大家

官网参考图:

image.png

Flux官网首页:https://blackforestlabs.ai/

人工智能初创公司 Black Forest Labs成立公司并发布其首套文本转图像人工智能模型 FLUX.1。这家总部位于德国的公司由开发Stable Diffusion的研究人员创立,旨在为图像和视频创建先进的生成式人工智能。

模型一共分三款,包含pro版、dev版、schnell版。

Black Forest 的图表声称其 Pro 和 Dev 模型是迄今为止最好的图像生成器,而其功能较弱的 Schnell 排名介于 Midjourney v5 和 Ideogram 之间

image.png

这三个版本说明:

  • Pro版本效果最好,但是闭源,API收费的。

  • Dev版本开源但是不可商用,至少需要24G显存运行。

  • Schnell版本开源可商用

如果你想要在线体验,也有在线的网站:

schnell :https://replicate.com/black-forest-labs/flux-schnell

dev:https://replicate.com/black-forest-labs/flux-dev

pro:https://replicate.com/black-forest-labs/flux-pro

本地部署

目前ComfyUI最新版本已经兼容FLux模型了, 只需内核升级到最新即可体验。

所以我们首先把ComfyUI给更新了

如果你用的是官方的comfyUI整合包就点这个更新

image.png

如果你用的是秋叶的启动器就按下图示例更新内核

image.png

显存太低的人本地估计运行很可能,我本地电脑配置还行,这里体验下schnell版本。

下载大模型:https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

该链接提供了23.8g的大模型和335MB的Vae模型,我们需要把这两个都下载

  • 下载完成后将大模型放在:ComfyUI/models/unet/ 文件夹中。

  • VAE应该放在您的 ComfyUI/models/vae/ 文件夹中。

image.png

如果电脑配置一般的可以下载Flux-fp8精简版,只有11.9GB:https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors

Vae还是通用的ae.sft

image.png

我们除了大模型和Vae还需要下载Clip模型:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

这其实就是SD3的Clip模型,配置好我们选择fp16,配置一般我们选择fp8,clip_l是一定要下载的

下载完我们放在:ComfyUI\models\clip 该文件夹内

image.png

以上的大模型,VAE,Clip都安装完成后我们就可以运行我们的工作流了,官网提供了一个简易的comfyUI工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/

我们把官网提供的图片保存下来

image.png

再把图片拖进ComfyUI中即可,不想这么麻烦的也可以加入我们的交流群直接获取工作流

进入工作流我们确保模型加载没问题就可以点击加入队列等待生成了

image.png

生图效果

提示词1:a bottle with a rainbow galaxy inside it on top of a wooden table on a table in the middle of a modern kitchen

image.png

提示词2:photograph of a black board in an old classroom. On the black board in chalk are the words “Lets make some really pretty stuff together” with a red chalk heart after the words. Sunlight is streaming in from the window

image.png

提示词3:filmic photo of a group of three women on a street downtown, they are holding their hands up the camera

image.png

提示词4:macro photography of a miniature little village on top of a flower

image.png

FP8版本,提示词5:close up fujifilm photo of a mans eye and fac

image.png

提示词6:beautiful anime artwork, a cute anime girl standing alone at night darkness wearing an oversized black raincoat with a small bag. she is holding a black umbrella, the umbrella has multicolored LED hidden inside that shine down on her, small rose petals flutter through the air around her, anime screencap style, red eyes, medium hair

image.png

总结

整体来说,测试下来效果还是很不错的,FLUX 比 SD3 强。

  1. 手部生成比较稳定,较少出现手脚畸形。

  2. 蒸馏版出图速度快, 30 秒内即可完成。 Dev版虽然出图比较久但是出图质量更好。

  3. 模型兼容性强:无论是二次元、人像、写实、还是风景风格,效果都很好。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

### 使用 Flux.1-Schnell 模型的方法 Flux.1-Schnell 是一种用于机器学习和数据处理的高效框架,特别适用于时间序列分析和其他动态系统的建模。为了有效利用该模型,在实际应用中需遵循特定流程。 #### 安装依赖库 首先确保安装必要的 Python 库来支持 Flux.1-Schnell 的运行环境[^1]: ```bash pip install numpy pandas scikit-learn tensorflow keras ``` #### 导入所需模块并加载数据集 接着导入相关Python包,并准备要使用的数据集[^2]: ```python import numpy as np import pandas as pd from sklearn.model_selection import train_test_split data = pd.read_csv('path_to_your_dataset.csv') X, y = data.iloc[:, :-1], data.iloc[:, -1] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) ``` #### 构建 Flux.1-Schnell 模型结构 定义神经网络架构时可以采用 Keras API 来简化操作过程[^3]: ```python from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, LSTM model = Sequential([ LSTM(50, activation='relu', input_shape=(n_timesteps, n_features)), Dense(1) ]) model.compile(optimizer='adam', loss='mse') ``` 此处 `LSTM` 层被选作主要组件之一,因为其擅长捕捉长时间间隔内的模式特征;而全连接层 (`Dense`) 则负责最终输出预测值[^4]。 #### 训练与评估模型性能 完成上述配置之后就可以开始训练阶段了,期间还需定期保存最佳权重参数以便后续调用[^5]: ```python history = model.fit( X_train, y_train, epochs=epochs, batch_size=batch_size, validation_data=(X_val, y_val), verbose=1, callbacks=[checkpoint_callback], ) loss = model.evaluate(X_test, y_test, verbose=0) print(f'Test Loss: {loss}') ``` 通过这种方式能够有效地运用 Flux.1-Schnell 进行各类复杂的数据处理任务以及构建强大的预测系统。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值