被4个中国工程院院士联合作序,这本《大模型导论》经过长时间的整理终于出版了!
内容简介
本书主要介绍了大模型的发展与演变、相关技术、应用场景、未来发展趋势和前景。本书首先回顾了大模型技术的起源和发展历程,然后介绍了数据预处理、Transformer、预训练与微调、模型推理和PyTorch框架等技术。
此外,本书还通过具体的案例和实践展示了如何应用大模型技术来解决实际问题。本书旨在帮助读者全面了解大模型技术的发展与应用,并推动其在各个领域的应用和发展。
本书图文并茂,理论翔实,案例丰富,适合从事大模型开发的科研人员以及广大的开发者作为技术参考和培训资料,亦可作为高校本科生和研究生的教材。
编辑推荐
适读人群 :从事大模型开发的科研人员和开发者,以及高校相关专业的本科生和研究生
- 内容全面,本书涵盖大模型技术的各个方面,包括大模型的概念、数据预处理、Transformer、预训练与微调、模型推理以及案例实战等。
- 内容循序渐进,从大模型基础概念到开发架构全案例式讲解,通过实战引导读者掌握大模型技术。
- 注重实用,附赠源码,丰富学习方式,边学边练。
- 提供丰富的教学资源,适合高校教学和大模型领域从业者使用,满足不同层次读者的需求。
作者简介
张成文,博士,北京邮电大学副教授、硕士生导师。中国人工智能学会高级会员,任中国电子商会大模型应用产业专委会秘书长、中国人工智能产业发展联盟产学研工作组副组长,中国医学装备协会人工智能和医用机器人工作委员会常委、中国教育发展战略学会人工智能与机器人专委会理事等。
他在网络技术专业领域有着深入的研究,并且完成了国家科技重大专项、国家重点研发计划、国家自然科学基金等项目。专业方向包括人工智能、大数据个性化推荐、云计算、计算机视觉等。他在国内外一流期刊上发表了多篇高水平论文,并出版了多本教材和专著。
目录
第 1章 大模型概述 1
- 1.1 大模型介绍 2
- 1.2 大模型分类 11
- 1.3 大模型的开发流程 13
- 1.4 应用场景 18
- 1.5 未来发展方向 20
- 1.6 小结 22
- 1.7 课后习题 22
第 2章 数据预处理 23
- 2.1 文本数据预处理 23
- 2.2 图像数据预处理 47
- 2.3 图文对数据预处理 56
- 2.4 Datasets库 58
- 2.5 小结 63
- 2.6 课后习题 64
第3章 Transformer 65
- 3.1 注意力机制 65
- 3.2 Transformer简介 70
- 3.3 Visual Transformer简介 73
- 3.4 Q-Former 75
- 3.5 transformers库 77
- 3.6 小结 85
- 3.7 课后习题 86
第4章 预训练 87
- 4.1 预训练介绍 87
- 4.2 预训练任务 89
- 4.3 应用于下游任务的方法 91
- 4.4 预训练模型的应用 92
- 4.5 小结 93
- 4.6 课后习题 93
第5章 训练优化 94
- 5.1 模型训练挑战 94
- 5.2 训练优化技术 95
- 5.3 训练加速工具 100
- 5.4 小结 107
- 5.5 课后习题 108
第6章 模型微调 109
- 6.1 监督微调 110
- 6.2 PEFT技术 110
- 6.3 PEFT库 116
- 6.4 小结 124
- 6.5 课后习题 124
第7章 模型推理 125
- 7.1 模型压缩和加速技术 125
- 7.2 推理服务提升技术 133
- 7.3 小结 136
- 7.4 课后习题 136
第8章 PyTorch框架 137
- 8.1 安装与配置 137
- 8.2 基础组件 138
- 8.3 构建线性回归模型 148
- 8.4 构建Transformer模型 151
- 8.5 小结 158
- 8.6 课后习题 159
第9章 向量数据库 160
- 9.1 Milvus 160
- 9.2 Pinecone 166
- 9.3 Chroma 168
- 9.4 小结 170
- 9.5 课后习题 170
第 10章 前端可视化工具 171
- 10.1 Gradio 171
- 10.2 Streamlit 178
- 10.3 小结 185
- 10.4 课后习题 186
第 11章 LangChain 187
- 11.1 LangChain组件 187
- 11.2 基础操作 199
- 11.3 进阶实战 205
- 11.4 基于私域数据的问答系统 211
- 11.5 小结 219
- 11.6 课后习题 219
第 12章 常用开源模型的部署与微调 220
- 12.1 ChatGLM3模型部署与微调 220
- 12.2 Baichuan2模型部署与微调 233
- 12.3 LLaMA2模型部署与微调 247
- 12.4 小结 256
- 12.5 课后习题 256
参考文献 257