中国人民大学在 arXiv 网站发布了英文版大语言模型综述文章《A Survey of Large Language Models》,该综述文章系统性地梳理了大语言模型的研究进展与核心技术,讨论了大量的相关工作。
同时,为了促进大模型知识在中文社区的传播,推动中文大模型研究,中国人民大学对英文版进行了翻译校对,推出了首个中文版大语言模型综述!
我已将 这本大模型书籍免费分享
出来,需要的小伙伴可以扫取。
全书章节组织:
一、背景与基础知识
第一章 引言(大模型发展历程、重要技术概览)
第二章 基础介绍(Scaling Law、GPT系列模型发展历程)
第三章 大模型资源(开源模型、数据、代码库)
二、预训练
第四章 数据准备(数据收集、清洗、配比、课程方法)
第五章 模型架构(Transformer 结构、大模型主流架构、细节改进)
第六章 模型预训练(预训练任务、优化参数设置、并行训练方法)
三、微调与对齐
第七章 指令微调(指令数据收集与合成方法、指令微调策略与作用)
第八章 人类对齐(3H标准、RLHF算法、非RL算法)
四、大模型使用
第九章 解码与部署(解码生成算法、解码加速算法、模型压缩算法)
第十章 提示学习(基础提示方法、上下文学习、思维链)
第十一章 规划与智能体(复杂规划方法、智能体搭建方法)
五、评测与应用
第十二章 评测(评测指标与方法、基础与高级能力评测、评测体系)
第十三章 应用(概览研究领域与专业领域的应用)
大语言模型发展时间线
LLaMA 系列模型的衍生工作进化图
书籍内页展示:
我已将 这本大模型书籍免费分享
出来,需要的小伙伴可以扫取。