Stable Diffusion原班人马最新力作，最强开源工具FLUX

前言

自从 Black Forest Labs 发布了他们的 FLUX.1 套件以来，它的热度便居高不下。

接下来，我们就来一起认识一下这款模型吧。

一、关于 Black Forest Labs

Black Forest Labs 是一家专注于开发先进的生成式 AI 模型的公司。他们最近宣布了 FLUX.1 套件的发布，这是一系列用于文本到图像合成的模型。该套件旨在推动图像细节、风格多样性和场景复杂性的前沿。

Black Forest Labs 的团队在生成式 AI 领域有着深厚的背景，包括 VQGAN 和 Latent Diffusion 的创建者。他们还开发了一系列 Stable Diffusion 模型，包括 Stable Diffusion XL、Stable Video Diffusion 和 Rectified Flow Transformers。这些技术的进步使得 FLUX.1 能够生成更为逼真且细节丰富的图像。

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

二、Flux模型概念

尽管“Flux”一词在这里指的是一个文本到图像生成模型，但值得一提的是，“Flux”一词在软件工程领域通常是指一种架构模式。在这种模式下，数据的流动应该是单向的，从数据源（通常是后端服务器或数据存储）通过一系列的操作（Actions）传递到数据存储（Stores），最后更新视图（Views）。这种设计模式简化了应用的状态管理和数据流控制，有助于减少数据不一致和状态混乱的问题。

• Actions：触发事件，用于表示对数据的操作意图，如加载数据或提交表单。

• Dispatcher：核心组件之一，负责接收Actions并将它们分发给各个Store。

• Stores：用于存储应用状态和数据的地方，Store会根据接收到的Actions更新自身状态。

• Views：根据Store中的数据来渲染用户界面的组件，当Store状态变化时，Views会自动更新以反映最新状态。

三、FLUX.1 套件概述

FLUX.1 分为三个不同的版本：FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]，以满足不同用户的需求。

• FLUX.1 [pro]：这是最强大的版本，提供顶级的性能和图像质量。它具有最佳的提示遵循能力、视觉质量、图像细节和输出多样性。适用于商业用途，可以通过 Black Forest Labs 的合作伙伴 Replicate 和 fal.ai 使用。

• FLUX.1 [dev]：这是一个开放权重、指导蒸馏的模型，适用于非商业应用。它直接从 FLUX.1 [pro] 蒸馏而来，保持了相似的质量和提示遵循能力，但效率更高。

• FLUX.1 [schnell]：这是速度最快的一个版本，适用于快速原型制作和实验。它在速度和质量之间提供了良好的平衡。

跑分时，Dev和Pro版本明显超过了SD3以及Midjourney V6和DALL-E 3。

四、安装指南

为了让你能够快速上手，我们准备了一个简化的安装指南。请注意，具体的步骤可能会因版本和个人环境的不同而有所变化。

1. 准备环境

确保你的系统已经安装了 Python 和必要的依赖库。你可以通过运行以下命令来安装必要的库：

pip install torch torchvision``pip install transformers

2. 获取 FLUX.1 模型

访问 Black Forest Labs 的 GitHub 仓库或 Hugging Face Hub 页面来下载 FLUX.1 的预训练模型。对于初学者来说，推荐从 FLUX.1 [schnell] 开始，因为它在速度和质量之间提供了良好的平衡。

3. 运行示例

一旦你拥有了模型文件，就可以通过下面的 Python 脚本来尝试生成一些图像：

from transformers import pipeline # 加载 FLUX.1 schnell 模型generator = pipeline('text-to-image', model='black-forest-labs/FLUX.1-schnell') # 尝试生成一张图像image = generator(“A detailed image of a hand holding a pencil”) # 显示生成的图像``image[0].show()

五、测试跑图

安装完成后，你可以通过输入不同的prompt来测试FLUX的绘画效果。例如，可以尝试以下prompt来生成不同风格的图像：

• 露肩：realistic, realism, film grain, photo by fuji-proplus-ii film, raw photo of 20 years old woman in offshoulder-top, close up portrait, deep blue sky, cloudy sky, outdoor, high key light, soft shadow, Fiery clouds

  

• 棒球帽：1girl, solo, long hair, looking at viewer, red eyes, hat, hair between eyes, closed mouth, jewelry, bare shoulders, upper body, pink hair, earrings, pink eyes, off shoulder, from side, lips, ear piercing, baseball cap, hair behind ear, black sweater, general, realistic, photorealistic

甚至对于最难搞的手，也没有出现畸形的情况

在视频生成方面，

我们来看几个例子：

step1: Flux+lora生成演讲者图片

step2: Runway视频化

step3: elevenlab生成语音

step4: Runway实现语音口型匹配

FLUX彻底改变了AI图像领域

以下还有更多狂野示例:

FLUX.1 是一个非常有前景的开源工具，目前他在评测数据中已经轻松超越之前的所有模型，并且有着非常强大的文字生成能力，图像质量非常高，对比之前模型经常容易出现的手部畸形问题也得到了很好的改进，并且生成速度很快。

目前comfyui已经支持Flux.1模型，官网也可以直接使用。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以点击下方免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。