重磅发布！字节内传380页《从零开始大模型开发与微调基于PyTorch与ChatGLM》学习笔记_《从零开始大模型开发与微调:基于pytorch与chatglm》pdf

本文链接：https://blog.csdn.net/m0_57081622/article/details/140576217

大模型是深度学习自然语言处理皇冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。

实战案例丰富

基于PyTorch卷积层的MNIST分类实战
PyTorch数据处理与模型展示
ResNet实战
有趣的词嵌入
基于PyTorch循环神经网络的中文情感分类实战
自然语言处理的编码器
预训练模型BERT
自然语言处理的解码器
强化学习实战
只具有解码器的GPT2模型
实战训练自己的ChatGPT
开源大模型ChatGLM使用详解ChatGLM高级定制化应用实战
对ChatGLM进行高级微调

在这里插入图片描述

第1章新时代的曙光——人工智能与大模型

人工智能：思维与实践的融合.
- 人工智能的历史与未来
- 深度学习与人工智能
- 选择PyTorch 2.0 实战框架
大模型开启人工智能的新时代
- 大模型带来的变革
- 最强的中文大模型–清华大学 Cha1GLM介绍
- 近在咫尺的未来–大模型的应用前景
本章小结

在这里插入图片描述

第2章 PyTorh2.0深度学习环境建

环境搭建1：安装 python
- Minioondn的下载与安装
- PyCharm 的下载与安装
- Python 代码小练习:计算Sofimax函数
环境搭建2：安装 PyTorch 2.0
- Nvidin 10120/30/40 系列显卡选择的 GPU版本
- PyTorch2.0GPUNvidia运行库的安装
- PyTorch2.0小练习:Hello PyTorch
生成式模型实战:古诗词的生成
图像降噪:手把手实战第一个深度学习模型
- MNIST 数据集的准备
- MNIST数据集的特征和标签介绍
- 模型的准备和介绍
- 对目标的远近–模型的损失画数与优化函数
- 基于深度学习的模型训练
本章小结

第3章从零开始学习PyTorch2.0

实战MNIST 手写体识别
- 数据图像的获取与标签的说明
- 实战基于 PyTorch2.0的手写体识别模型
- 基于Nctron 库的 PyTorch 2.0 模型可视化
自定义经网络框架的基本设计
- 神经网络框架的抽象实現
- 自定又神经网络福架的具体实现
本章小结

第4章一学就会的深度学习基础算法详解

反向传播神经网络的前身历史
反向传指神经网络两个基础算法详解
- 最小二泉法详解
- 梯度下降算法
- 最小二来法的梯度下降算法及其 Python 实现
反馈抻经网络反向传播算法介绍
- 深度学习基础
- 链式求导法则
- 反馈神经网络的原理与公式推导
- 反馈神经网络原理的激活函数
- 反馈神经网络原理的Pyihon 实现
本章小结

在这里插入图片描述

第5章基于PyTOrch卷积层的MNIST分类实战

卷积运算的基本概念
- 基本卷积运算示例
- PyTorch 中的卷积函数实现详解
- 池化运算
- Sofmmax 激活函数
- 卷积神经网络的原理
实战:基于卷积的 MNIST手写体分类
- 数据的准备
- 模型的设计
- 基子卷积的 MNIST 分类模型
PyTorch 的深度可分离膨胀卷积详解
- 深度可分离卷积的定义
- 深度的定义以及不同计算层特训练参数的比较
- 膨胀卷积详解
- 实战:基于深度可分离膨胀卷积的 MNIST手写体识别
本章小结

第6章可视化的PyTorch数据处理与模型展示

用于自定文数据集的 torch.urils,data 工具使用详解
- 使用 torch.utils,datn Dataset对装自定义数据集
- 改变数据类型的 Dataset 类中的 translonmm 的使用
- 批量输出数据的 DataLosder 英详解
实战：基于tensorboardx的训练可视化展示
- 可视化组件 tensorboanix 的简介与安装
- tensorboindx可视化组件的使用
- tensorboardx对模型训炼过程的展示
本章小结

在这里插入图片描述

第7童 ResNet实战
第8章有趣的词嵌入
第9章基于循环神经网络的中文情感分类实战
第10章从零开始学习自然语言处理的编码器
第11章站在巨人膀上的预训练模型BERT
第12章从1开始自然语言处理的解码器
第13章基于PyTorch2.0的强化学习实战
第14章 ChatGPT前身–只具有解码器的 GPT-2模型
第15章实战训练自己的ChatGPT
第16章开源大型ChaGLM使用详解
第17章开源大模型 ChalGLM 高级定制化应用实战
第18章对训练成本上亿美元的ChatGLM进行高级微调