benben044的专栏

QLoRA技术讲解，从LoRA的原理，到量化的原理，再到QLoRA的工作流程

本文介绍了使用DeepSpeed训练BERT和BLOOM模型的实践与优化方法。首先针对BERT模型在MRPC任务上的训练，详细说明了配置文件设计、训练代码实现及过拟合优化策略，包括早停机制、权重衰减和学习率调整等。其次，重点阐述了ZeRO-Offload技术在有限显存下训练BLOOM-3B大模型的应用，包括配置文件编写、资源占用分析和性能优化。

DeepSpeed是微软开源的大模型训练优化库，核心解决显存不足、算力不足、通信瓶颈和工程复杂性等问题。其核心技术ZeRO（零冗余优化器）通过分片优化器状态、梯度和参数，显著降低显存占用（最高可达N倍）。DeepSpeed整合3D并行（数据/模型/流水线并行）、混合精度训练、梯度检查点等技术，支持万亿参数模型训练。

大语言模型推理包含Prefill和Decode两个阶段。Prefill阶段利用GPU并行计算能力，通过矩阵乘法一次性处理完整Prompt序列，实现QKV向量计算、注意力分数计算和信息聚合的高度并行化。而KVCache不能复用是因为每个Token的向量表示会随上下文层层进化，最终存储的是经过多层网络加工后的特定语境状态。

本文系统介绍了基于人类反馈的强化学习（RLHF）技术框架。主要内容包括：1）RLHF数据格式，包含prompt、优质回答（chosen）和劣质回答（rejected）的成对偏好数据；2）奖励模型训练方法，通过Bradley-Terry损失函数学习人类偏好排序；3）PPO算法原理，通过策略裁剪和KL惩罚实现稳定优化；4）DPO算法创新，直接利用偏好数据优化模型而无需复杂强化学习流程。文章详细阐述了从监督微调（SFT）到强化学习对齐的完整技术路径，比较了传统RLHF与新兴DPO方法的优劣，为大规模语言模型的人类

摘要：OpenAI Triton是一种开源的类Python编程语言和编译器，专为GPU并行计算设计。其核心概念Program相当于CUDA中的线程块，自动处理线程调度和并行化。Triton提供高效的内存访问优化、边界检查机制和JIT即时编译功能，支持TMA硬件加速和持久化内核设计。关键特性包括：1）基于Block粒度的编程模型；2）自动并行化处理；3）L1/L2缓存优化；4）TMA硬件加速数据传输；5）持久化内核提高资源利用率。常用函数包括内存操作(tl.load/store)、线程管理(tl.progra

State-Value Functions：在策略给定的情况下，评估一个状态的价值。2）监督学些，<input, output>数据是独立的，强化学习数据间是有关联的。score大于就是正确的，score小于就是错误的，而且大的程度越大越好。Action-value Functions：在某个状态下，某个动作的价值。1）监督学习，<input, output>提前准备好的，强化学习没有。Agent的目标定义：长期的Reward最大化。对于随机变量，最常用的方法就是取期望值。让Agent到达高价值点位。

safe softmax：防止某个x过大导致float类型的计算溢出，溢出后会直接返回null。如果只激活1个，那么和之前的性能是等价的。目前的O不是我们想要的值，因为权重只有部分的值，不全，所以最后得到的O2也是不正确的。训练大模型的时候，没法在每张GPU上把完整的模型存下来，这个是有问题的。解决的问题：计算复杂度下降 + Memory复杂度下降，且是精确的计算。我们不需要计算出完整的softmax的值，否则还是O(n2)的复杂度。每次根据过去得到的m(x)和最新的x，更新m(x)的值即可。

量化的方法

Alpaca、AdaLoRA、QLoRA

微调定制化和通用的方法

某一次最好的不一定是全局最好的。假如y2不对，那么可以导致后续的全部出错。Subword方法可以有效解决Out Of Vocabulary的问题。不需要拟合0-1这种极端的分布，而是稍微平缓一点的分布。新方式下每个Block太大不能全部装进GPU SRAM。观看annotated-transformer源码。每次保留topN个，不会导致指数级增长。corpus=语料库。

介绍下模型发展、transformer的架构