【实战】FLUX.1+ComfyUI部署与使用

已于 2024-08-15 11:30:27 修改
阅读量533 收藏 6
点赞数 11
文章标签： ai 人工智能 AI作画 YOLO 开源
于 2024-08-15 11:30:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YourMi_AI/article/details/141217654
版权

FLUX.1简介

在这里插入图片描述

FLUX.1是由黑森林实验室（Black Forest Labs）开发，分为3个版本：

  • 【闭源】FLUX.1-pro：FLUX.1中的最顶级的性能，提供最先进的图像生成能力，具有顶级提示词识别能力、视觉质量、图像细节和输出多样性。目前可以通过官方API访问，也提供企业定制化服务。
  • 【开源不可商用】FLUX.1-dev：直接从FLUX.1-pro提炼而来，FLUX.1-dev获得了类似的质量和提示词能力，同时比相同大小的标准模型更高效。
  • 【开源可商用】FLUX.1-schnell：专为本地开发和个人使用量身定制的，在Apache2.0许可下公开可用。它在生成速度上具有明显优势，同时对内存的占用也是最小的。

根据官方资料：FLUX.1模型的训练参数达到了120亿，这一数字远远超过了SD3 Medium的20亿参数。无论是FLUX.1-pro还是FLUX.1-dev，在图像质量、提示词的准确跟随、尺寸适应性、排版以及输出的多样性方面，都已经超越了市场上的Midjourney v6.0、DALL·E 3 (HD)和SD3-Ultra等流行模型，确立了图像合成技术的新高度。

部署流程

创建资源

进入控制台-GPU云实例，点击创建实例：

在这里插入图片描述

进入创建页面后，首先在实例配置中选择付费类型，一般短期需求可以选择按量付费或者包日，长期需求可以选择包月套餐；

其次选择GPU数量和需求的GPU型号，首次创建实例推荐选择：

  • 按量付费
  • GPU数量1
  • NVIDIA-GeForc-RTX-4090：该配置为60GB内存，24GB的显存（本次测试的LLaMA3.1 8B 版本至少需要GPU显存16G）

接下来配置数据硬盘的大小，每个实例默认附带了50GB的数据硬盘，FLUX.1模型较大，建议扩容至150GB。

在这里插入图片描述

继续选择安装的镜像，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，可通过勾选来筛选框架，这里筛选PyTorch，选择PyTorch 2.4.0。

在这里插入图片描述

为保证安全登录，创建密钥对，输入自定义的名称，然后选择自动创建并将创建好的私钥保存的自己电脑中，以便后续本地连接使用。

在这里插入图片描述

创建好密钥对后，选择刚刚创建好的密钥对，并点击立即创建，等待一段时间后即可启动成功！

登录实例

接下来将基于平台提供的JupyterLab工具，演示fp16版本的部署流程。

首先，启动JupyterLab，并创建终端：
在这里插入图片描述

在这里插入图片描述

部署ComfyUI

在终端中执行以下命令克隆ComfyUI代码：

# github官方代码仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
# gitCode-github加速计划代码仓库
git clone https://gitcode.com/gh_mirrors/co/ComfyUI.git

克隆完成后可看到如下目录：

div align="center">

终端进入/root/workspace/ComfyUI目录，执行以下命令，安装ComfyUI需要的依赖：

cd ComfyUI/
pip install -r requirements.txt --ignore-installed

执行以下命令，启动ComfyUI：

python main.py --listen

在这里插入图片描述

看到服务成功启动，说明ComfyUI部署成功！

:::tip

您如果遇到报错

ImportError: version conflict: '/opt/conda/lib/python3.11/site-packages/psutil/_psutil_linux.cpython-311-x86_64-linux-gnu.so' C extension module was built for another version of psutil (5.9.0 instead of 6.0.0); you may try to 'pip uninstall psutil', manually remove /opt/conda/lib/python3.11/site-packages/psutil/_psutil_linux.cpython-311-x86_64-linux-gnu.so or clean the virtual env somehow, then reinstall

可先卸载冲突包，再次安装依赖

pip uninstall psutil
pip install -r requirements.txt --ignore-installed

:::

部署FLUX.1

推荐您阅读ComfyUI官方使用FLUX.1示例，以下是基于丹摩平台的部署教程

平台已预制FLUX.1相关资源，您可通过内网高速下载：

# 下载完整FLUX.1-dev模型
wget http://file.s3/damodel-openfile/FLUX.1/FLUX.1-dev.tar
# 下载完整FLUX.1-schnell模型
wget http://file.s3/damodel-openfile/FLUX.1/FLUX.1-dev.tar
# 下载完整Clip模型
wget http://file.s3/damodel-openfile/FLUX.1/flux_text_encoders.tar

此处以FLUX.1-dev为例演示，首先下载完整FLUX.1-dev模型：

wget http://file.s3/damodel-openfile/FLUX.1/FLUX.1-dev.tar

解压文件：

tar -xf FLUX.1-dev.tar

解压后完成后可看到如下目录:

在这里插入图片描述

我们需要把其中的一些文件移至ComfyUI指定目录：

  • 大模型文件flux1-dev.safetensors需要移动至/root/workspace/ComfyUI/models/unet/文件夹中
  • vae文件ae.safetensors需移动至/root/workspace/ComfyUI/models/vae/文件夹中
# 进入解压后的文件夹
cd /root/workspace/FLUX.1-dev
# 移动文件
mv flux1-dev.safetensors /root/workspace/ComfyUI/models/unet/
mv ae.safetensors /root/workspace/ComfyUI/models/vae/

接下来下载完整Clip模型：

# 进入JupyterLab根目录
cd /root/workspace
# 下载文件
wget http://file.s3/damodel-openfile/FLUX.1/flux_text_encoders.tar

解压文件：

tar -xf flux_text_encoders.tar

解压后完成后可看到如下目录:

在这里插入图片描述

我们需要把其中的一些文件移至ComfyUI指定目录：

# 进入解压后的文件夹
cd /root/workspace/flux_text_encoders
# 移动文件
mv clip_l.safetensors /root/workspace/ComfyUI/models/clip/
mv t5xxl_fp16.safetensors /root/workspace/ComfyUI/models/clip/

以上，所有准备工作完成！

使用流程

运行FLUX.1

终端进入ComfyUI目录，执行以下命令，启动ComfyUI：

cd /root/workspace/ComfyUI
python main.py --listen

我们看到启动成功，host为0.0.0.0，端口为8188：

Starting server

To see the GUI go to: http://0.0.0.0:8188

接下来我们需要通过丹摩平台提供的端口映射能力，把内网端口映射到公网；

进入GPU 云实例页面，点击操作-更多-访问控制：

在这里插入图片描述

点击添加端口，添加服务对应端口：

在这里插入图片描述

添加成功后，通过访问链接即即可打开ComfyUI交互界面：

在这里插入图片描述

导入工作流

您可以把以下图片保存，然后在ComfyUI中加载或拖动以下图像以获取工作流

以下是FLUX.1-dev-FP16的展示效果

在这里插入图片描述

FLUX.1-dev-FP16

在这里插入图片描述

FLUX.1-schnell-FP16

在这里插入图片描述

FLUX.1-dev-FP8

在这里插入图片描述

FLUX.1-schnell-FP8

在这里插入图片描述

防压缩图片链接

YourMi_AI
关注
  • 11
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【AI辅助设计】全村人的希望！FLUX.1模型（附录下载地址）
2401_85688943的博客
08-02 1620
该项目是由原Stablity AI 公司的Robin 带着全新组织 Black Forest Labs，开源的一个AI生图模型。FLUX.1 模型套件为不同用户群体提供了灵活的选择，无论是追求极致性能的商业用户，还是希望探索 AI 技术的开发者和研究者，都能找到合适的版本。其强大的性能和丰富的功能，使其成为当前最先进的文本到图像模型之一，并将推动生成式 AI 技术的进一步发展。
FLUX.1 实测，堪比 Midjourney 的开源 AI 绘画模型，无需本地显卡，带你免费实战
u010522887的专栏
08-07 1744
玩转地表最强开源 AI 绘画模型
AI绘画又有好玩的了，玩转FLUX，手和文字不再是问题了！
2401_84830464的博客
08-09 934
SD从刚开始的石破天惊之后，也断断续续更新过很多版本，但是亮点越来越少。其中显而易见的两个问题是画手和文字，FLUX在这两个方面都有巨大的提升。
评分超越MJ和SD？揭秘FLUX.1 AI绘画模型，实例评测不容错过（附体验地址）
2401_85688943的博客
08-05 770
整体使用来说，1、出图的手部比较稳定，没有那么容易出现坏手、坏脚2、出图速度快，基本上30S能完成出图（我用的是云端4090显卡）3、模型的兼容性强：不管是二次元、人像模型、写实、电商、风景等不同风格的出图效果都可以如果说非要做个对比，我感觉Flux这个版本会比SD3强（目前SD3放出来的版本也不是质量最好的），但是说比上MJ，那还是有差距的。最近Mindjpurney V6.1的优化版本，出的图真的香。
Flux【基础篇】：分享一些可以在线体验Flux.1模型的网站
2401_85725028的博客
08-14 553
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。优雅的极简主义，特写，专业摄影，90年代，一个超级漂亮的中国模特穿着深红色的套头衫，红色的秋天森林背景，自然光。好了，今天的分享就到这里了，希望今天分享的内容对大家有所帮助。
FLUX Pro：Flux最强闭源模型,无需4090在线即可享受超强美学艺术创作,任意无限比例直出
2401_85725028的博客
08-05 1065
在近期的文章已多次介绍FLUX这款黑马文生图模型，12B参数，体积23.8G权重文件，Black Forest Labs（Stable Diffusion 的原始团队），迄今最大的开源文生图模型。在之前文章中已经介绍过关于它的开源版本：FLUX.1-dev、FLUX.1-schnell。今天文章主题直接体验Flux的最强闭源模型Flux Pro。目前Flux Pro模型只能通过API服务方式访问。liblib作为国内AIGC创作优质平台，在最新模型和技术的跟进做的一直都做的很好，当然Flux Pro。
【Stable Diffusion】最强模型——Flux推荐和下载
2401_84760322的博客
08-09 995
Flux是一个由黑森林实验室（Black Forest Lab）推出的模型，开发人员由Stable Diffusion前离职人员构成。做到了很多SD和MJ都做不到或者很难做到的事情。参数规模大****：官方号称模型有12B（120亿）参数，是迄今为止最大的开源文本到图像模型之一。在视觉质量、提示词遵循、大小/纵横比可变性、字体和输出多样性等方面超越了其他流行的模型。针对不同需求的多种模型。
AI绘画 “最强”黑马FLUX！免费开源试玩！多版本体验大合集！轻松本地部署，超越SD3！
白帽阿叁的博客
08-07 715
大家好，我是程序员晓晓最近，AI绘画界发生了大事！3月宣布从Stability AI出走的Robin Rombach，就是Stable Diffusion的两个主要作者之一，和十来个原公司小伙伴，正式宣布了组团创业的消息。新公司名叫。一亮相就kuku发了一个系列、共3款图片生成模型，其中有2个开源。而且。效果怎么样？看过的网友称很狂野（wild）！输入提示词，一次测试出了画面效果和人脸数据等安全措施：一名十多岁戴着滑雪面罩的女孩在谷仓里做折纸手工。图片底部有指定的黄色文字。
Fooocus+ComfyUI多模型一体化体验，支持Flux！6G显存可玩混元、可图和SD3m！
2401_85725028的博客
08-14 315
所以老徐觉得还是有必要来说一说**SimpleSDXL2，**因为它现在已经对目前这些主流模型已经都支持了，另外其简洁友好的界面和强大的功能已经满足大家基本日常使用了，花那么多的时间研究ComfyUI节点上，不如选择一个适合的工具专心你的AIGC创作。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。什么中文提示词，扩图，反推，打光，蒙版抠图等统统不在话下~启动后就会看到类似的界面了。
MERSFRB:MERSFRB = Mongoose+Express+Restify+Socket.io+Flux+React+Bootstrap
06-03
MERSFRB = Mongoose+Express+Restify+Socket.io+Flux+React+Bootstrap 介绍 一个主要结合7个nodejs包的包，旨在实现从数据库到前端设计的敏捷web应用开发框架，源代码包含一个聊天室示例供参考，尝试看看它的威力。...
彻底征服 React.js ＋Flux+Redux视频教程.txt
09-25
彻底征服 React.js ＋Flux+Redux视频教程.txt 前端必备技能，助你快速掌握
play-react-flux:玩React.js + Flux
05-20
总的来说，"play-react-flux"项目是一个学习和实践React.js与Flux架构的良好起点，它展示了如何将这两个技术结合使用来创建一个实时更新的待办事项应用，并且利用现代JavaScript特性以及构建工具提高开发效率。...
polymer-flux:示例 Polymer + Backbone.js + Flux 应用程序
06-17
聚合物助焊剂这是使用架构制作应用程序的尝试。 将用于商店。 基于。演示你可以看到它。跑步您需要来下载依赖项： git clone https://github.com/vnen/polymer-flux.gitcd polymer-fluxbower install 然后您将需要一...
AlphaGo.jl：使用Flux.jl实现AlphaGo零
02-03
AlphaGo.jl是使用Flux.jl的AlphaGo Zero的纯Julia实现。 安装 要安装此软件包，只需运行 pkg> add https://github.com/tejank10/AlphaGo.jl 用法 using AlphaGo 创建Go环境很简单env = GoEnv(9) 这里9是木板的大小...
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 462
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
数字图像处理（Matlab实践篇）专栏介绍
weixin_44063529的博客
08-14 400
数字图像处理（Matlab实践篇）”专栏是一个全面、系统的学习资源，它不仅提供了丰富的理论知识，更重要的是，通过实战案例和代码示例，使读者能够将所学知识应用于实际问题中。随着数字图像处理技术在各行各业的广泛应用，掌握这些技能无疑将为读者的职业生涯增添宝贵的资本。通过这个专栏的学习，读者将能够构建起自己的图像处理工作流，提升处理能力，为未来的技术挑战做好准备。
机器学习常用包numpy篇（零）前置知识·数值类型
最新发布
2301_79144343的博客
08-14 189
本文仅介绍numpy中的数值类型
Spark MLlib 特征工程(上)
08-14 729
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
如下是一段 Spring 代码： Flux.range(1, 10).__(2).subscribe(x-> System.out.print(x+" ")); System.out.println(); Flux.range(1, 10).__(2).subscribe(x-> System.out.print(x+" ")); System.out.println(); Flux.range(1, 10).__(i -> i < 5).subscribe(x-> System.out.print(x+" ")); System.out.println(); Flux.range(1, 10).__(i -> i == 6).subscribe(x-> System.out.print(x+" ")); 若你想要要想输出下列结果： 1 2 9 10 1 2 3 4 1 2 3 4 5 6
06-08
可以将代码修改为以下形式： ``` Flux.range(1, 10).take(2).subscribe(x-> System.out.print(x+" ")); System.out.println(); Flux.range(1, 10).takeLast(2).subscribe(x-> System.out.print(x+" ")); System.out.println(); Flux.range(1, 10).takeWhile(i -> i < 5).subscribe(x-> System.out.print(x+" ")); System.out.println(); Flux.range(1, 10).filter(i -> i <= 6 && i >= 1).subscribe(x-> System.out.print(x+" ")); ``` 输出结果为：`1 2 9 10 1 2 3 4 1 2 3 4 5 6`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值