一、内容简介
人工智能(AI),尤其是生成式语言模型和生成式人工智能(AIGC)模型,正以惊人的速度改变着我们的世界。驾驭这股潮流的关键,莫过于探究自然语言处理(NLP)技术的深奥秘境。
这本书将带领我们踏上一段扣人心弦的探索之旅,让其亲身感受,并动手搭建语言模型。
主要内容包括N-Gram,词袋模型(BoW),Word2Vec(W2V),神经概率语言模型(NPLM),循环神经网络(RNN),Seq2Seq(S2S),注意力机制,Transformer,从初代GPT到ChatGPT再到GPT-4等一系列突破性技术的诞生与演进。
有需要这本《GPT图解》PDF文档,可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费】
二、书籍目录
第 1课 高楼万丈平地起:语言模型的雏形N-Gram和简单文本表示Bag-of-Words
1.1 N-Gram模型
1.2 “词”是什么,如何“分词”
1.3 创建一个Bigram字符预测模型
1.4 词袋模型
1.5 用词袋模型计算文本相似度
第 2课 问君文本何所似: 词的向量表示Word2Vec和Embedding
2.1 词向量 ≈ 词嵌入
2.2 Word2Vec:CBOW模型和Skip-Gram模型
2.3 Skip-Gram模型的代码实现
2.4 CBOW模型的代码实现
2.5 通过nn.Embedding来实现词嵌入
第3课 山重水复疑无路:神经概率语言模型和循环神经网络
3.1 NPLM的起源 070
3.2 NPLM的实现 072
3.3 循环神经网络的结构 079
3.4 循环神经网络实战 082
第4课 柳暗花明又一村:Seq2Seq编码器-解码器架构
4.1 Seq2Seq架构
4.2 构建简单Seq2Seq架构
第5课 见微知著开慧眼:引入注意力机制
5.1 点积注意力
5.2 缩放点积注意力
5.3 编码器-解码器注意力
5.4 注意力机制中的Q、K、V
5.5 自注意力
5.6 多头自注意力
5.7 注意力掩码
5.8 其他类型的注意力
第6课 层峦叠翠上青天:搭建GPT核心组件Transformer
6.1 Transformer架构剖析
6.2 Transformer代码实现
6.3 完成翻译任务
第7课 芳林新叶催陈叶:训练出你的简版生成式GPT
7.1 BERT与GPT争锋
7.2 GPT:生成式自回归模型
7.3 构建GPT模型并完成文本生成任务
7.4 使用WikiText2数据集训练Wiki-GPT模型
第8课 流水后波推前波:ChatGPT基于人类反馈的强化学习
8.1 从GPT到ChatGPT
8.2 在Wiki-GPT基础上训练自己的简版ChatGPT
8.3 用Hugging Face预训练GPT微调ChatGPT
8.4 ChatGPT的RLHF实战
第9课 生生不息的循环:使用强大的GPT-4 API
9.1 强大的OpenAI API
9.2 使用GPT-4 API
有需要这本《GPT图解》PDF文档,可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费】