前言
由人民邮电出版社出版,张成文教授编著的《大模型导论》的大模型新书PDF终于搞到手了!!
本书分为理论和实践两大部分,全面涵盖从数据预处理、模型预训练到模型微调、模型推理、模型应用的全流程,旨在帮助读者建立完整的大模型知识体系。其中,理论部分详细介绍了大模型的原理,以及多种训练、微调、推理效率提升技术和框架,从而帮助读者深入理解大模型的工作机制和内在逻辑。
通过对本书的学习与工程实践,读者不仅可以学习大模型理念,而且能够掌握大模型技术范式。要将大模型变为可以提高各个领域生产力的智能技术,大模型技术的赋能方与大模型应用的业务方除了了解、学习大模型应用领域的业务知识以外,还应一起思考、一起计划、一起实施,只有这样,才能真正推动新质生产力的发展。
本书共 12 章,其中,第 1 章~第 7 章为理论介绍部分。这部分内容阐释了大模型的基础知识,并加入了相关开源库的介绍与使用方法。
第 8 章~第 12 章为开发实践部分。这部分内容将基础知识与开源工具、具体项目相结合,以提升大模型开发能力。
通过学习第 9 章~第 11 章的内容,读者可以掌握“向量数据库+大模型+LangChain”这一重要开发范式的使用方法。这一开发范式属于检索增强生成(Retrieval-AugmentedGeneration,RAG)技术,通过外置知识库来缓解大模型知识滞后,减少大模型幻觉,为隐私数据提供安全访问方式,并能提供个性化解决方案。
目录
第 1章 大模型概述 1
1.1 大模型介绍 2
1.2 大模型分类 11
1.3 大模型的开发流程 13
1.4 应用场景 18
1.5 未来发展方向 20
1.6 小结 22
1.7 课后习题 22
第 2章 数据预处理 23
2.1 文本数据预处理 23
2.2 图像数据预处理 47
2.3 图文对数据预处理 56
2.4 Datasets库 58
2.5 小结 63
2.6 课后习题 64
第3章 Transformer 65
3.1 注意力机制 65
3.2 Transformer简介 70
3.3 Visual Transformer简介 73
3.4 Q-Former 75
3.5 transformers库 77
3.6 小结 85
3.7 课后习题 86
第4章 预训练 87
4.1 预训练介绍 87
4.2 预训练任务 89
4.3 应用于下游任务的方法 91
4.4 预训练模型的应用 92
4.5 小结 93
4.6 课后习题 93
第5章 训练优化 94
5.1 模型训练挑战 94
5.2 训练优化技术 95
5.3 训练加速工具 100
5.4 小结 107
5.5 课后习题 108
第6章 模型微调 109
6.1 监督微调 110
6.2 PEFT技术 110
6.3 PEFT库 116
6.4 小结 124
6.5 课后习题 124
第7章 模型推理 125
7.1 模型压缩和加速技术 125
7.2 推理服务提升技术 133
7.3 小结 136
7.4 课后习题 136
第8章 PyTorch框架 137
8.1 安装与配置 137
8.2 基础组件 138
8.3 构建线性回归模型 148
8.4 构建Transformer模型 151
8.5 小结 158
8.6 课后习题 159
第9章 向量数据库 160
9.1 Milvus 160
9.2 Pinecone 166
9.3 Chroma 168
9.4 小结 170
9.5 课后习题 170
第 10章 前端可视化工具 171
10.1 Gradio 171
10.2 Streamlit 178
10.3 小结 185
10.4 课后习题 186
第 11章 LangChain 187
11.1 LangChain组件 187
11.2 基础操作 199
11.3 进阶实战 205
11.4 基于私域数据的问答系统 211
11.5 小结 219
11.6 课后习题 219
第 12章 常用开源模型的部署与微调 220
12.1 ChatGLM3模型部署与微调 220
12.2 Baichuan2模型部署与微调 233
12.3 LLaMA2模型部署与微调 247
12.4 小结 256
12.5 课后习题 256
参考文献 257