复旦大学自然语言处理实验室张奇教授、桂韬研究员、郑锐博士生以及黄萱菁教授结合之前在自然语言处理领域研究经验,以及分布式系统和并行计算的教学经验,通过在大语言模型实践和理论研究的过程中,历时 8 个月完成本书《大规模语言模型·从理论到实践》不可错过!
《大规模语言模型·从理论到实践
》旨在为对大语言模型感兴趣的读者提供一个入门指南,并可作为高年级本科生和研究生自然语言处理相关课程的大语言模型部分补充教材。
章节内容
下载当前版本: 完整版本链接获取
大语言模型涉及深度学习、自然语言处理、分布式计算、分布式计算等众多领域。因此,建议读者在阅读本书之前,首先系统地学习深度学习和自然语言处理的相关课程。在分布式计算和异构计算方面,读者需要具备基本的概念。如果希望在大语言模型训练和推理方面进行深入研究,还需要系统学习分布式系统、并行计算、CUDA 编程等相关知识。
本书围绕大语言模型构建的四个主要阶段:预训练、有监督微调、奖励建模和强化学习,详细介绍各阶段使用的算法、数据、难点以及实践经验。
包括:
- Transformer、GPT基础、LLaMA基础;
- 训练数据介绍与分析;
- 分布式训练代码详解;
- SFT部分(prompt、LoRA、deepspeech等);
- 强化学习(RLHF等);
- 大语言模型应用;
- 大语言模型评估。
课件:
第一章 绪论
第二章 大语言模型基础
第三章 大语言模型预训练数据
第四章 分布式模型训练
第五章 有监督微调
第六章 强化学习
第七章 大语言模型应用
第八章 大语言模型评估
下面是目录,看下就知道了