哈喽大家好!今天再给大家分享一下这本大模型的书《生成式人工智能手册》,目前外网已经传疯了,由哥大博士整理生成式AI初学手册,本指南面向具有某种技术背景、出于好奇或为了潜在的职业而对人工智能感兴趣的人。
本手册旨在作为学习现代人工智能系统关键概念的手册。一共有 9 大章节,提供了系统化的学习路径,旨在帮助你系统地学习和理解生成式 AI 的相关知识。涵盖生成式 AI 的基础知识、实践应用、以及最新的研究进展,其中还包括相关学习资源,如教程、文章、工具和案例研究。
本手册还涵盖了性能优化的技术,以提高 LLMs 的推理效率,包括参数量化、规格性解码、FlashAttention、关键 - 值缓存和分页注意力等。
我现在讲的这些还是很有限,如果你对大模型感兴趣,那建议你把这本手册看完并吃透它,这本书的pdf版本我已经帮你打包好了
朋友们如果需要此本 《生成式人工智能手册》,扫码获取~
书籍目录:
- 介绍
- 人工智能格局
- 资源
- 第 1 章:准备工作
第一部分:序列预测的基础
- 第 2 章:统计预测和监督学习
- 第 3 章:时间序列分析
- 第 4 章:在线学习和遗憾最小化
- 第 5 章:强化学习
- 第 6 章:马尔可夫模型
第二部分:神经序列预测
- 第 7 章:使用神经网络进行统计预测
- 第 8 章:循环神经网络
- 第 9 章:LSTM 和 GRU
- 第 10 章:嵌入和主题建模
- 第 11 章:编码器和解码器
- 第 12 章:仅解码器的 Transformer
第三部分:现代语言建模的基础
- 第 13 章:标记化
- 第 14 章:位置编码
- 第 15 章:预训练秘诀
- 第 16 章:分布式训练和 FSDP
- 第 17 章:缩放定律
- 第18章:专家组合
第四部分: LLM大模型的微调方法
- 第 19 章:指导微调
- 第 20 章:低秩适配器 (LoRA)
- 第 21 章:奖励模型和 RLHF
- 第 22 章:直接偏好优化方法
- 第 23 章:上下文扩展
- 第24章 提炼与融合
第五部分:大模型评估和申请
- 第 25 章:基准测试
- 第 26 章:抽样和结构化输出
- 第 27 章:提示技巧
- 第 28 章:矢量数据库和重新排序
- 第 29 章:检索增强生成
- 第30章:工具使用和“代理”
- 第 31 章:合成数据LLM
- 第 32 章:表示工程
- 第 33 章:机械可解释性
- 第34章:线性表示假设
第六部分:高效推理的性能优化
- 第 35 章:参数量化
- 第36章 推测解码
- 第 37 章:FlashAttention
- 第 38 章:键值缓存和分页注意力
- 第 39 章:CPU 卸载
第七部分:次二次上下文缩放
- 第 40 章:滑动窗口注意力
- 第41章:注意
- 第 42 章:线性注意力(RWKV)
- 第 43 章:结构化状态空间模型
- 第44章:高度注意力
第八部分:超越序列的生成模型
- 第 45 章:分布建模
- 第 46 章:变分自动编码器
- 第 47 章:生成对抗网络
- 第 48 章:条件 GAN
- 第 49 章:规范化流程
- 第50章:扩散模型
第九部分:多模态模型
- 第 51 章:文本之外的标记化
- 第 52 章:VQ-VAE
- 第 53 章:视觉转换器
书籍内容
朋友们如果需要此本 《生成式人工智能手册》,扫码获取~