大模型训练之加速篇 -＞ peft(Lora-＞ReLORA-＞Vera-＞Dora-＞LISA) -＞ accelerator -＞ deepspeed (Zero)

HUGGINFACE PEFT库：

实现LORA， prefix-tuning. prompttuning, AdaLoRA, LLaMA-Adapter训练的库

HUGGINFACE accelerator库：

是一个将pytorch模型迁移到CPU/GPU/Multi-GPUs/TPU/Fp16/bf16模式下训练的一个标准库

DeepSpeed

Pytorch的分布式并行计算框架（Distributed Data Parallel，简称DDP），它也仅仅是能将数据并行，放到各个GPU的模型上进行训练。
DeepSpeed，它就能实现这个拆散功能，它通过将模型参数拆散分布到各个GPU上，以实现大型模型的计算，弥补了DDP的缺点，非常方便，这也就意味着我们能用更少的GPU训练更大的模型，而且不受限于显存。

Zero

zero 1 2 3

ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
发表在SC 20，DeepSpeed项目最初就是论文中ZeRO方法的官方实现。
ZeRO-Offload: Democratizing Billion-Scale Model Training发表在ATC 21
ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning 发表在SC 21，同样是进行offload，ZeRO-Offload更侧重单卡场景，而ZeRO-Infinity则是典型的工业界风格，奔着极大规模训练去了。
参考资料：https://zhuanlan.zhihu.com/p/428117575
deepspeed就是主要使用了这种方式

Lora

LoRA 发现再微调 LLMs 时，更新矩阵（update matrix）往往特别 sparse，也就是说 update matrix 是低秩矩阵。LoRA 的作者根据这一特点将 update matrix reparametrize 为两个低秩矩阵的积积BA 。
其中W=[dk]，，A 和 B 的秩为 r，且 r远远小于min(d, k)。如此一来，A+B 的参数量将大大小于W .

LoRA 的论文：
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
https://arxiv.org/pdf/2106.09685.pdf

借助 Huggingface PEFT 框架，使用 LoRA 微调 mt0：
https://github.com/huggingface/peft/blob/main/examples/conditional_generation/peft_lora_seq2seq.ipynb

Vera

VERA: VECTOR-BASED RANDOM MATRIX ADAPTATION

Dora

DoRA 的论文：
DoRA: Weight-Decomposed Low-Rank Adaptation

LISA:

LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
在LoRA和全参数微调中，各层的权值范数分布都存在偏斜现象，这意味着不同层在大规 模LLM训练中的重要性不同。
• 本文提出逐层重要性采样的AdamW (LISA)算法，一种简单的优化方法，能够扩展到70 B以上 的LLMs，具有与LoRA更少或类似的内存成本。
• 本文证明了LISA在现代llm微调任务中的有效性，在MT-Bench中以8% - 36%优于LoRA，并表现 出更好的收敛行为。在某些设置下，LISA的性能甚至超过了全参数训练。在不同规模的模型(7 B- 70 B)和不同的任务(包括指令遵循、医疗QA和数学问题)中可以观察到类似的性能增益。

与LoRA中的中间层相比，嵌入层(GPT2的wte和wpe层)或语言模型(LM)头层的权重更新占比更 大，通常是数百倍。然而，这种现象在全参数训练的时候并不突出。
这一观察表明，LoRA和全参数训练的权重更新重点有显著差异，这可以归因于它们所学知识的差异。 例如，在嵌入层中，具有相似含义的标记，即同义词，可以投影到相同的嵌入空间并转换为相似的嵌 入。LoRA可以捕捉语言的这种相似性，并在低维空间中对它们进行“分组”，从而及时识别和优化语言含义的常见特征。代价是LoRA固有的低秩空间限制了其有限的表示能力。其他可能的解释也可以证明这种现象。尽管对这一观察结果有各种解释，但有一个事实仍然很清楚：LoRA的分层重要性值与完全参数调优不同。

算法的核心在于：
始终更新底embedding和顶层linear head，
随机更新少量中间attention层，例如2-4层