Flux LoRA简单介绍

Flux LoRA 是一种用于高效微调（fine-tuning）大型机器学习模型的技术。LoRA 全称为 Low-Rank Adaptation，它的主要目标是减少在微调过程中需要调整的参数量，从而降低计算和内存资源的消耗。

具体来说，LoRA 是一种参数高效微调方法，尤其适用于像 GPT、BERT 等预训练的大型 Transformer 模型。

Flux LoRA 的核心概念：

1. 低秩分解： LoRA 的核心思想是，将全连接层权重矩阵的更新限制为低秩的变化。这是通过将大的权重矩阵分解为两个较小的矩阵（低秩矩阵），从而减少需要更新的参数量。
   • 正常情况下，微调时，整个模型的权重都会被更新，特别是大型 Transformer 模型，权重数量极大。
   • 通过 LoRA，权重矩阵的变化可以用两个小的矩阵表示，即 W = W_0 + ∆W，其中 ∆W = A * B，并且 A 和 B 是低秩矩阵。
2. 减少参数更新： LoRA 只更新少量的参数（低秩矩阵 A 和 B），而预训练模型的原始参数 W_0 保持不变。这种方法可以大幅减少训练所需的显存和计算资源，同时保留模型微调后的效果。
3. 高效微调： 由于 LoRA 只引入少量额外的参数，微调速度