清华NLP-刘知远团队大模型公开课（学习笔记）

笨笨sg

已于 2023-11-14 20:41:19 修改

阅读量928

点赞数 3

文章标签： nlp 笔记刘知远清华

于 2023-11-07 21:34:39 首次发布

本文链接：https://blog.csdn.net/a131529/article/details/134276574

版权

本文档详细介绍了深度学习课程的内容，包括自然语言处理基础、大模型介绍、神经网络（如Word2Vec、RNN、GRU、LSTM、CNN）及其在Pytorch中的应用，以及编程环境和GPU服务器的配置。提供了丰富的课程大纲和实践案例。

摘要由CSDN通过智能技术生成

课件和代码分享链接：

链接: https://pan.baidu.com/s/1ZboqS6D5Rc705piL0ANXog?pwd=best
提取码: best

笔记目录

章节	主要内容
1-1课程内容介绍	介绍课程内容，未做笔记
1-2课程大纲	介绍课程大纲，未做笔记
1-3课程计划	介绍课程计划，未做笔记
1-4自然语言处理基础——基础与应用	介绍NLP的应用，未做笔记
1-5自然语言处理基础——词表示与语言模型	1.5 自然语言处理基础——词表示与语言模型
1-6大模型基础——大模型之旅	1-6 大模型基础-大模型之旅
1-7 大模型基础-大模型背后的范式	1-7 大模型基础-大模型背后的范式
1-8 大模型基础-示例	介绍一些LLM的demo，未做笔记
1-9 编程环境和GPU服务器的介绍	1-9 编程环境和GPU服务器的介绍
2-1 课程内容介绍	介绍第二节课程概要，未做笔记
2-2 神经网络基础——大纲介绍	同上，未做笔记
2-3 神经网络的基本组成元素	2-3 神经网络的基本组成元素
2-4 如何训练神经网络	2-4 如何训练神经网络
2-5 词向量Word2Vec	2-5 词向量Word2Vec
2-5（篇外）词向量Word2Vec代码实战篇	2-5（篇外）词向量Word2Vec代码实战篇
2-6 循环神经网络（RNN）	2-6 循环神经网络（RNN）
2-7 门控循环单元（GRU）	2-7 门控循环单元（GRU）
2-8 长短期记忆网络（LSTM）	2-8 长短期记忆网络（LSTM）
2-9 双向RNN	2-9 双向RNN
2-10 卷积神经网络（CNN）	2-10 卷积神经网络（CNN）
2-11 演示：使用Pytorch训练模型	2-11 演示：使用Pytorch训练模型
3-1 课程内容介绍	介绍课程内容，未做笔记
3-2 注意力机制--原理介绍	3-2 注意力机制--原理介绍
3-3 注意力机制--注意力机制的各种变式	3-3 注意力机制--注意力机制的各种变式
3-4 注意力机制--注意力机制的特点	3-4 注意力机制--注意力机制的特点
3-5 Transformer结构--概述	3-5 Transformer结构--概述
3-6 Transformer结构--输入编码（BPE、PE）	3-6 Transformer结构--输入编码（BPE、PE）
3-7 Transformer结构--Encoder Block	3-7 Transformer结构--Encoder Block
3-8 Transformer结构--Decoder Block	3-8 Transformer结构--Decoder Block
3-9 Transformer结构--优化Tricks	3-9 Transformer结构--优化Tricks
3-10 Transformer结构--试验结果以及可视化	3-10 Transformer结构--试验结果以及可视化
3-11 Transformer结构--优缺点	3-11 Transformer结构--优缺点