最近,Stable Diffusion 作者之一 Robin Rombach 官宣创业,成立了新公司「Black Forest Labs」(黑森林实验室),并推出了最新文生图模型「FLUX.1」。
这个模型有多牛?看效果:
Prompt:a portal into a mythical forest on the wall of my small messy bedroom.
中文提示词:凌乱的小卧室墙上有一个通往神秘森林的入口。
#01
/介绍
简单看了下官方介绍,Flux 是迄今为止最大的 SOTA 开源文本到图像模型,这个没毛病,确实是迄今为止最大的!
FLUX.1 [schnell]拥有 120 亿个参数的整流转换器,能够根据文本描述生成图像。
FLUX.1从模型架构上看,它和之前的SD3有很多相似之处,它们都是基于FlowingMatching调度的模型,通过引入T5来增强prompt的依从性。两者较显著的区别在于:FLUX.1引入了一种叫DoubleStreamBlock的结构,具体来说在前几层layer中,采用了txt和img embedding独立过各自的transformer块,然后再拼到一起过统一的transformer块,有人推测这是为了进一步对齐图像和文本特征,但是这部分还没有更具体的技术报告。
主要功能:
-
增强的图像质量:
-
以更高分辨率生成令人惊叹的视觉效果。
-
先进的人体解剖和逼真度:实现高度逼真和解剖精确的图像。
-
改进的及时性:根据输入获取更准确、更相关的图像。
-
卓越的速度:受益于 Flux Schnell 的速度和效率,是高要求应用的理想选择。
-
•增强的图像质量:以更高的分辨率生成令人惊叹的视觉效果。支持任意分辨率比例的直出绘图。在很多方面美学评分 ELO 上,FLUX 分数超越 SD3 和 MJ6。
-
先进的人体解剖学和照片真实感:实现高度逼真和解剖学精确的图像。
-
解决直出完美手指、脚趾绘图:FLUX 近乎完美解决直出完美手指、脚趾绘图,最显著表现就是出现多指、畸形概率明显降低。
-
英文文字渲染与复杂提示精确直出::能够精确的处理英文文字渲染,以及精准的复杂的提示语遵循能力。
FLUX.1包含了三个变体模型:实力最强的 Pro 版本、dev 版本和速度最快的 schnell 版本。用户均可在 Replicate 和 fal.ai 上访问。
三者的区别如下:
FLUX.1 [pro] | FLUX.1 [dev] | FLUX.1 [schnell] | |
开源许可 | 闭源 | 开源非商用 | Apache2.0开源许可 |
体验平台 | Replicate、fal.ai | Replicate、fal.ai、HuggingFace | Replicate、fal.ai、HuggingFace |
体验方式 | API调用 | 直接体验 | 直接体验 |
#02
/在线体验
目前 FLUX.1 [pro] 想要体验的话必须注册一个账号获取API Key,并通过API生成图片,以 fal.ai[1]平台为例,想要运行是必须要登录的
而像 FLUX.1 [dev] 和 FLUX.1 [schnell] 在fal.ai[2] 平台是可以直接体验的,并且目前貌似没限次数!
(需要的同学可自行扫描获取)
#03
/本地部署
先把ComfyUI升级到最新版。
尽管很多网友称16G显卡方能跑的很好,经过实测,12G显卡也能跑的起来,速度并不比SD3慢多少。
如果你安装过Kolors(可图),会发现安装完模型后,可以直接使用这个工作流。
1、模型加载器
UNET:如果显存大于等于12G,可以加载flux1-dev.sft
weight_dtype:如果显存小于48G,请启用量化,fp8_e4m3fn
2、clip模型加载
如图加载这两个模型即可
3、VAE
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。