先到先得！字节内传380页《从零开始大模型开发与微调基于PyTorch与ChatGLM》学习笔记/PDF版

最新推荐文章于 2024-07-06 22:04:51 发布
最新推荐文章于 2024-07-06 22:04:51 发布
阅读量654 收藏 14
点赞数 12
文章标签： pytorch 人工智能 ai大模型 大语言模型 从零开始大模型开发与微调 AGI 计算机技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxue345678/article/details/139951882
版权

大模型是深度学习自然语言处理皇冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。

实战案例丰富

  • 基于PyTorch卷积层的MNIST分类实战
  • PyTorch数据处理与模型展示
  • ResNet实战
  • 有趣的词嵌入
  • 基于PyTorch循环神经网络的中文情感分类实战
  • 自然语言处理的编码器
  • 预训练模型BERT
  • 自然语言处理的解码器
  • 强化学习实战
  • 只具有解码器的GPT2模型
  • 实战训练自己的ChatGPT
  • 开源大模型ChatGLM使用详解ChatGLM高级定制化应用实战
  • 对ChatGLM进行高级微调

图片

目录

第1章 新时代的曙光——人工智能与大模型

  • 人工智能：思维与实践的融合.

    • 人工智能的历史与未来
    • 深度学习与人工智能
    • 选择PyTorch 2.0 实战框架

  • 大模型开启人工智能的新时代

    • 大模型带来的变革
    • 最强的中文大模型–清华大学 Cha1GLM介绍
    • 近在咫尺的未来–大模型的应用前景

  • 本章小结

图片

第2章 PyTorh2.0深度学习环境建

  • 环境搭建1：安装 python

    • Minioondn的下载与安装
    • PyCharm 的下载与安装
    • Python 代码小练习:计算Sofimax函数

  • 环境搭建2：安装 PyTorch 2.0

    • Nvidin 10120/30/40 系列显卡选择的 GPU版本
    • PyTorch2.0GPUNvidia运行库的安装
    • PyTorch2.0小练习:Hello PyTorch

  • 生成式模型实战:古诗词的生成

  • 图像降噪:手把手实战第一个深度学习模型

    • MNIST 数据集的准备
    • MNIST数据集的特征和标签介绍
    • 模型的准备和介绍
    • 对目标的远近–模型的损失画数与优化函数
    • 基于深度学习的模型训练

  • 本章小结
    在这里插入图片描述

第3章 从零开始学习PyTorch2.0

  • 实战MNIST 手写体识别

    • 数据图像的获取与标签的说明
    • 实战基于 PyTorch2.0的手写体识别模型
    • 基于Nctron 库的 PyTorch 2.0 模型可视化

  • 自定义经网络框架的基本设计

    • 神经网络框架的抽象实現
    • 自定又神经网络福架的具体实现

  • 本章小结
    在这里插入图片描述

第4章 一学就会的深度学习基础算法详解

  • 反向传播神经网络的前身历史

  • 反向传指神经网络两个基础算法详解

    • 最小二泉法详解
    • 梯度下降算法
    • 最小二来法的梯度下降算法及其 Python 实现

  • 反馈抻经网络反向传播算法介绍

    • 深度学习基础
    • 链式求导法则
    • 反馈神经网络的原理与公式推导
    • 反馈神经网络原理的激活函数
    • 反馈神经网络原理的Pyihon 实现

  • 本章小结
    在这里插入图片描述

第5章 基于PyTOrch卷积层的MNIST分类实战

  • 卷积运算的基本概念

    • 基本卷积运算示例
    • PyTorch 中的卷积函数实现详解
    • 池化运算
    • Sofmmax 激活函数
    • 卷积神经网络的原理

  • 实战:基于卷积的 MNIST手写体分类

    • 数据的准备
    • 模型的设计
    • 基子卷积的 MNIST 分类模型

  • PyTorch 的深度可分离膨胀卷积详解

    • 深度可分离卷积的定义
    • 深度的定义以及不同计算层特训练参数的比较
    • 膨胀卷积详解
    • 实战:基于深度可分离膨胀卷积的 MNIST手写体识别

  • 本章小结
    在这里插入图片描述

第6章 可视化的PyTorch数据处理与模型展示

  • 用于自定文数据集的 torch.urils,data 工具使用详解

    • 使用 torch.utils,datn Dataset对装自定义数据集
    • 改变数据类型的 Dataset 类中的 translonmm 的使用
    • 批量输出数据的 DataLosder 英详解

  • 实战：基于tensorboardx的训练可视化展示

    • 可视化组件 tensorboanix 的简介与安装
    • tensorboindx可视化组件的使用
    • tensorboardx对模型训炼过程的展示

  • 本章小结
    在这里插入图片描述

第7童 ResNet实战
第8章 有趣的词嵌入
第9章 基于循环神经网络的中文情感分类实战
第10章 从零开始学习自然语言处理的编码器
第11章 站在巨人膀上的预训练模型BERT
第12章 从1开始自然语言处理的解码器
第13章 基于PyTorch2.0的强化学习实战
第14章 ChatGPT前身–只具有解码器的 GPT-2模型
第15章 实战训练自己的ChatGPT
第16章 开源大型ChaGLM使用详解
第17章 开源大模型 ChalGLM 高级定制化应用实战
第18章 对训练成本上亿美元的ChatGLM进行高级微调

篇幅有限，这里就不一一展示了，有需要的朋友可以可以微信扫描下方二维码免费领取！
雪碧没气阿
关注
  • 12
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Pytorch的UNet语义分割模型与代码
12-26
模型在FloodNet数据集上进行了训练，mIOU在0.83左右，可训练自己的数据集 建议在训练网络的时候将输入的训练集其切分为384x384的小图片后，再来进行训练 模型采用标准的UNet，可以采用如下方式训练你自己的模型 数据...
先到先得！字节内传380页《从零开始大模型开发与微调基于PyTorch与ChatGLM》学习笔记
weixin_58753619的博客
04-19 904
大模型是深度学习自然语言处理皇冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行
结构之法 算法之道
08-24 2万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
大模型笔记！以LLAMA为例，快速入门LLM的推理过程
xzp740813的博客
06-18 624
llama是LLM（LLM指大语言模型）模型的一种结构，llama这种模型的任务就是在阅读前n个单词后预测句子中下一个单词，输出取决于过去和现在输入，与未来无关。过程大概是这样，每次输入模型会带上上一次输出的结果（不同于CV模型，CV模型输入只需要一次即可，一次推理即可得到结果）：LLM-生成一般来说，LLM模型主要由两个块组成：编码器（左侧）：编码器接收输入并构建其表示形式（特征）。这意味着该模型被优化为从输入中获取理解（比如输入文本判断这段话是高兴还是难受）。
【AI大模型专栏学习笔记01 基础知识】大火的AI大模型究竟是什么？原来这么容易上手！
zhuiyisinian的博客
03-14 1311
情感分析”问题，是指我们根据一段文字，去判断它的态度是正面的还是负面的。在传统的互联网产品里，经常会被用来分析用户对产品、服务的评价。比如大众点评里面，你对餐馆的评论，在京东买个东西，你对商品的评论，都会被平台拿去分析，给商家或者餐馆的评分做参考。也有些品牌，会专门抓取社交网络里用户对自己产品的评价，来进行情感分析，判断消费者对自己的产品评价是正面还是负面的，并且会根据这些评价来改进自己的产品。对于“情感分析”类型的问题，传统的解决方案就是把它当成是一个分类问题。
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
qq_56591814的博客
06-18 1万+
本文介绍了一些LLMs基础模型和微调模型，例如GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca
LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-31 4247
​ LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 目录 《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 Abstract 1、Introduction介绍 2、Background背景 3、BLOOM
AI大模型的模型训练
2301_81888214的博客
12-27 1293
当然以上的缩放方案依旧存在精度损失，以及当矩阵中存在outlier时，这个精度损失会被放大，例如当tensor中绝大部分取值在1以下，有几个值在100+，则缩放后，所有1以下的tensor信息都会被round抹去。因为use_cache是对解码速度的优化，在解码器解码时，存储每一步输出的hidden-state用于下一步的输入，而因为开启了gradient checkpoint，中间激活值不会存储，因此use_cahe=False。以下8bit量化优化的是静态显存，而梯度检查优化的是动态显存。
Python + Pytorch 学习[研0向]
m0_52113666的博客
10-13 146
Python + Pytorch学习，适合研0打基础，学习资源是b站小土堆，需要自取！
基于大模型chatglm的pdf文档解析.zip
10-30
基于大模型chatglm的pdf文档解析： 实现对PDF解析，将给定的PDF结构化成以下几个部分。 - 文字 - 总标题，章节标题和章节对应的文字内容 - 图片 - 图片和图片标题 - 表格 - 表格和表格标题 - 参考 - 参考 以下...
openai-基于Pytorch的OpenAI大语言模型的微调脚本实现-大模型微调实战.zip
02-17
在IT领域，特别是人工智能和深度学习的分支，大模型微调是提高模型性能和适应特定任务的关键技术。本文将深入探讨如何使用PyTorch库来微调OpenAI的大语言模型，以便实现更高效、更精准的自然语言处理任务。PyTorch是...
基于微调的法律ChatGLM模型.zip
06-05
《基于微调的法律ChatGLM模型：深度学习在法律咨询中的应用》 在现代信息技术的推动下，人工智能已经深入到各个领域，特别是在法律服务行业，AI的应用正在逐步改变传统的工作模式。本项目以“基于微调的法律ChatGLM...
基于Pytorch热门深度学习框架 从零开发NLP聊天机器人 笔记代码.zip
02-15
在本压缩包中，我们关注的是使用PyTorch这一热门深度学习框架开发自然语言处理（NLP）聊天机器人的过程。PyTorch以其易用性和灵活性，在机器学习领域特别是深度学习中深受研究者和开发者的喜爱。以下是关于这个主题...
【pytorch19】交叉熵
最新发布
qq_45291280的博客
07-06 641
交叉熵
【pytorch18】Logistic Regression
qq_45291280的博客
07-06 883
逻辑回归模型
【chatgpt】 PyTorch中dtype属性，表示张量的数据类型
Never Give Up
07-03 514
在 PyTorch 中， 是一个属性，用于表示张量的数据类型。（数据类型）决定了张量中元素的存储方式和计算方法。PyTorch 支持多种数据类型，常见的数据类型包括：你可以在创建张量时通过 参数指定数据类型。例如： 更改张量的数据类型 你可以使用 方法或 方法来更改张量的数据类型。例如： 访问和检查 你可以通过访问 属性来检查张量的数据类型： 示例总结 以下是一个完整的示例，展示如何创建不同数据类型的张量，检查和更改它们的数据类型： 通过这些示例，你可以理解 在 PyTorch 中的作用及其用法
动手学深度学习（Pytorch版）代码实践 -循环神经网络-52文本预处理
李思成的博客
07-06 263
【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-52文本预处理。
B站刘二大人Pytorch课程学习笔记及课后作业
09-09
内容概要：本人在学习B站刘二大人Pytorch实践课程时，做的一些学习笔记。包含课程要点、教学源码以及课后作业和作业源码。 目录： 第一讲 概述 第二讲 线性模型创建 第三讲 梯度下降算法 第四讲 反向传播机制 第五讲 用pytorch实现线性回归 第六讲 逻辑斯蒂回归模型 第七讲 处理多维特征的输入 第八讲 加载数据集 第九讲 多分类问题--softmax classifier 第十讲 卷积神经网络（基础篇） 第十一讲 卷积神经网络（高级篇） 学完刘二大人的课程和此学习笔记，你就可以看懂大部分网络结构，并且复现出一些经典网络，比如残差网络ResNet、密集连接网络DenseNet和GoogleLeNet中Inception模块等等。收获良多。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值