- 博客(4)
- 收藏
- 关注
RSS订阅原创 LLM finetuning technical blog
随着大语言模型（LLM）规模的指数级增长，传统的全量微调方法正面临前所未有的挑战：参数量爆炸导致存储成本激增，灾难性遗忘阻碍多任务学习，计算资源需求超出大多数研究者的承受能力。为了在保持模型性能的同时大幅降低计算和存储开销，研究者们提出了各种参数高效微调（Parameter-Efficient Fine-Tuning, PELT）技术。本文系统性地梳理了当前主流的LLM微调技术全景，从最基础的BitFit到工业级标配的LoRA，从学术探索的Prefix Tuning到实用的QLoRA，再到前沿的UniPEL
2025-10-16 20:11:02
1212
原创 LLM分布式训练2---并行策略
本章将介绍分布式机器学习系统的基础概念、分布式训练的并行策略、分布式训练的集群架构，并以 DeepSpeed 为例，介绍如何在集群上训练大语言型。而这篇推送将主要介绍分布式训练的并行策略。数据并行的核心思想是将整个神经网络模型复制到多个计算设备上，并将训练数据分成若干子集，分配到每个计算设备上。每个计算设备独立进行前向传播和反向传播，计算出本地的梯度，并将所有设备的梯度汇总以更新模型。这个过程的关键在于梯度的同步和平均。在数据并行系统中，每个计算设备都有整个神经网络模型的模型副本（Model Replica
2025-04-23 23:28:45
881
原创 LLM分布式训练1---基础知识篇
分布式训练（Distributed Training）是机器学习中提升训练速度和效率的一个重要技术。简单来说，它是通过多个计算设备同时协作，分担巨大的计算任务，从而加速深度学习模型的训练过程。通常，我们会看到中央处理单元（CPU）、图形处理单元（GPU）、张量处理单元（TPU）和神经网络处理单元（NPU）等不同的硬件在这种系统中协同工作。
2025-04-23 23:26:23
1270
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人