Flex.1-Alpha - 可进行适当微调的新修改通量模型。

本文链接：https://blog.csdn.net/weixin_41446370/article/details/145252053

在这里插入图片描述
“Flex.1 以 FLUX.1-schnell-training-adapter 开始，目的是在 FLUX.1-schnell 上训练 LoRA。最初的目标是训练一个可以在训练过程中激活的 LoRA，以便对步长压缩模型进行微调。我将这个适配器并入了 FLUX.1-schnell，并继续在 FLUX.1-schnell 模型生成的图像上训练它，以进一步分解压缩，同时不注入任何新数据，目的是制作一个独立的基础模型。这就是后来的 OpenFLUX.1，经过几个月的持续训练，共发布了 10 个版本。 OpenFLUX.1 最终发布后，我开始在新数据上训练模型，并开始尝试剪枝。最终，我得到了 7B 和 4B 参数（未发布）的剪枝版 OpenFLUX.1。大约在这个时候，flux.1-lite-8B-alpha 发布了，并产生了非常好的结果。我决定沿用他们的剪枝策略，最终推出了 8B 参数版本。我继续训练模型，添加新的数据集，并采用各种实验性训练技巧来提高模型质量。

此时，模型仍然需要 CFG 才能生成图像。我决定模型需要一个类似于 FLUX.1-dev 的引导嵌入器，但我希望可以绕过它，使模型更加灵活和可训练，因此我为模型训练了一个独立于模型权重的新引导嵌入器，这样它就像一个可选的适配器，使模型可以在没有它的情况下进行训练和推理。”

说明

Flex.1 alpha 是一个预训练的基础 80 亿参数整流变换器，能够根据文本描述生成图像。它的架构与 FLUX.1-dev 类似，但双变换器块数较少（8 对 19）。它最初是对 FLUX.1-schnell 的微调，从而使模型保留了 Apache 2.0 许可证。它还训练了一个引导嵌入器，使其不再需要 CFG 来生成图像。

模型规格
80亿个参数
Guidance embedder
真正的 CFG 功能
可微调
OSI 兼容许可证（Apache 2.0)
512令牌长度输入

该模型的使用方法与 FLUX.1-dev 几乎完全相同，可以与大多数支持 FLUX.1-dev 的推理引擎配合使用（如 Diffusers、ComfyUI 等）。 (对于 ComfyUI，有一个名为 Flex.1-alpha.safetensors 的一体化文件。更多详细说明即将发布。

在这里插入图片描述
Flex.1 以 FLUX.1-schnell-training-adapter 开始，目的是在 FLUX.1-schnell 上训练 LoRA。最初的目标是训练一个可以在训练过程中激活的 LoRA，以便对步长压缩模型进行微调。我将这个适配器并入了 FLUX.1-schnell，并继续在 FLUX.1-schnell 模型生成的图像上训练它，以进一步分解压缩，同时不注入任何新数据，目的是制作一个独立的基础模型。这就是后来的 OpenFLUX.1，经过几个月的持续训练，共发布了 10 个版本。 OpenFLUX.1 最终发布后，我开始在新数据上训练模型，并开始尝试剪枝。最终，我得到了 7B 和 4B 参数（未发布）的剪枝版 OpenFLUX.1。大约在这个时候，flux.1-lite-8B-alpha 发布了，并产生了非常好的结果。我决定沿用他们的剪枝策略，最终推出了 8B 参数版本。我继续训练模型，添加新的数据集，并采用各种实验性训练技巧来提高模型质量。