今天和大家分享下近期读《大语言模型》一书的学习笔记, 由于笔者能力&时间有限,笔记不足之处在所难免,恳请大家批评指正。
导语: 今年4月中旬, 人大赵鑫教授出书了《大语言模型》一书, 作为第一本中文大语言模型教程, 立刻引起广泛关注, 该书内容偏综述性, 非常系统性地介绍了大语言模型的基本原理、核心技术和研究进展, 对于了解大语言模型的全貌会有非常好的帮助。
本文整理了该书的学习笔记, 并以思维导图形式记录了全书各章节知识点, 希望可进一步加深对大语言模型全貌的理解。
朋友们如果有需要全套 《LLM大语言模型综述》,扫码获取~
一些示例
这里仅以第一、二章节为例, 其它章节内容更加详实。
第一章 引言 思维导图
第二章 基础介绍 思维导图
全书章节组织及思维导图链接:
一、背景与基础知识
第一章 引言(大模型发展历程、重要技术概览) 第1章 思维导图
第二章 基础介绍(Scaling Law、GPT系列模型发展历程)第2章 思维导图
第三章 大模型资源(开源模型、数据、代码库)第3章 思维导图
二、预训练
第四章 数据准备(数据收集、清洗、配比、课程方法)第4章 思维导图
第五章 模型架构(Transformer 结构、大模型主流架构、细节改进)第5章 思维导图
第六章 模型预训练(预训练任务、优化参数设置、并行训练方法)第6章 思维导图
三、微调与对齐
第七章 指令微调(指令数据收集与合成方法、指令微调策略与作用)第7章 思维导图
第八章 人类对齐(3H标准、RLHF算法、非RL算法)第8章 思维导图
四、大模型使用
第九章 解码与部署(解码生成算法、解码加速算法、模型压缩算法)第9章 思维导图
第十章 提示学习(基础提示方法、上下文学习、思维链)第10章 思维导图
第十一章 规划与智能体(复杂规划方法、智能体搭建方法)第11章 思维导图
五、评测与应用
第十二章评测(评测指标与方法、基础与高级能力评测、评测体系)第12章 思维导图
第十三章 应用(概览研究领域与专业领域的应用)第13章 思维导图
第十四章 总结 第14章 思维导图
特别感谢这些大佬做出的贡献:
本书经过多次的迭代,目前已经非常成熟,适合大家拿去学习!!!
本教程内容主要内容:中文版的大模型综述侧重于为大模型入门的初学者们提供详细的讲解,旨在为大家提供一个全面的框架和路线图。
朋友们如果有需要全套 《LLM大语言模型综述》,扫码获取~