【笔记】从零开始大模型开发与微调：基于PyTorch与ChatGLM

最新推荐文章于 2024-07-27 16:26:22 发布
最新推荐文章于 2024-07-27 16:26:22 发布
阅读量465 收藏
点赞数 1
文章标签： 笔记 pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsbss/article/details/139583326
版权

从零开始大模型开发与微调：基于PyTorch与ChatGLM
2023.11.1版

介绍DL应用、大模型，ChatGLM

由清华大学自主研发，基于 General Language Model (GLM) 架构的一种最新型、最为强大的深度学习大模型。
1、经过约 1T 标识符的中英双语训练，辅以监督微调、对比学习、人类反馈强化学习等技术的加持
2、针对中文问答和对话进行了优化
3、开源的ChatGLM-6B 具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）

Jay_27
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
从零开始大模型开发与微调：基于ResNet的CIFAR10数据集分类
程序员光剑
07-04 1020
随着深度学习技术的发展，大型神经网络模型在众多领域展现出卓越的表现。然而，对于非专业开发者而言，从零开始构建和微调这些大型模型仍然存在一定的门槛。本篇博客旨在降低这一门槛，通过详细的步骤和代码示例，从零开始开发并微调基于ResNet架构的模型，用于CIFAR-10数据集上的图像分类任务。通过本篇教程，读者将深入理解大模型开发和微调的全过程，包括模型设计、训练、评估以及优化策略。ResNet的核心在于残差块的设计，它允许网络学习更深层次的表示而不丢失信息。
从零开始大模型开发与微调：更多的预训练模型
AI架构设计之禅
07-14 681
从零开始大模型开发与微调：更多的预训练模型 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大模型开发，微调，预训练模型，大规模语言模型 1. 背景介绍
【图书推荐】《从零开始大模型开发与微调：基于PyTorch与ChatGLM》
brucexia的专栏
05-08 873
王晓华，高校计算机专业讲师，研究方向为云计算、大数据与人工智能。
新书速览|从零开始大模型开发与微调：基于PyTorch与ChatGLM
quanzhankaifaqua的博客
01-12 1978
PyTorch 2.0深度学习环境搭建、从零开始学习PyTorch 2.0、深度学习基础算法详解、基于PyTorch卷积层的MNIST分类实战、PyTorch数据处理与模型展示、ResNet实战、有趣的词嵌入、基于PyTorch循环神经网络的中文情感分类实战、自然语言处理的编码器、预训练模型BERT、自然语言处理的解码器、强化学习实战、只具有解码器的GPT-2模型、实战训练自己的ChatGPT、开源大模型ChatGLM使用详解、ChatGLM高级定制化应用实战、对ChatGLM进行高级微调。
手把手教你本地部署清华大模型 ChatGLM3
最新发布
Everly_的博客
07-27 1389
这是 ChatGPT 应用的访问 URL接着，在仓库目录下执行。
《从零开始大模型开发与微调 ：基于PyTorch与ChatGLM》简介
brucexia的专栏
10-26 1455
他们的主要工作就是利用获得的数据集设计不同的人工神经模型，利用人工神经网络强大的学习能力提取和挖掘数据集中包含的潜在信息，编写相应的PyTorch程序对数据进行处理，对其价值进行进一步开发，为商业机会的获取、管理模式的创新、决策的制定提供相应的支持。第2章介绍PyTorch 2.0的安装和常用的类库。第1章介绍人工智能的基本内容，初步介绍深度学习应用与大模型的发展方向，介绍最强的人工智能大模型—清华大学ChatGLM的应用前景，旨在说明使用深度学习和人工智能实现大模型是未来科技的发展方向，也是必然趋势。
关于大模型微调，你想知道的都在这里了
yulingzheng的博客
07-26 1万+
感性理解:大模型微调指的是“喂”给模型更多信息，对模型的特定功能进行 “调教”，即通过输入特定领域的数据集，让其学习这个领域的知识，从而让 大模型能够更好的完成特定领域的NLP任务，例如情感分析、命名实体识别、文本分类、对话聊天等;微调并不是大模型领域独有的概念，而是伴随着深度学习技术发展，自然诞生的一个技术分支，旨在能够有针对性的调整深度学习模型的参数(或者模型结构)，从而能够使得其更佳高效的执行某些特定任务，而不用重复训练模型;
ChatGLM（国内版的chatGPT）
qq_41771998的博客
04-03 2万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。
Hello World！
qq_48843954的博客
12-05 1782
深度学习的第一个程序
从零开始大模型开发与微调：解码器的实现
程序员光剑
07-15 1342
从零开始大模型开发与微调：解码器的实现 关键词： 大模型开发 微调技术 解码器实现 自动化构建流程 实时更新与优化 1. 背景介绍
从零开始大模型开发与微调：实战编码器：拼音汉字转化模型
程序员光剑
07-10 568
从零开始大模型开发与微调：实战编码器：拼音汉字转化模型 1. 背景介绍 1.1 问题的由来 随着人工智能技术的快速发展，自然语言处理（NLP）领域成为了研究热点之一。在众多NLP任务中，将汉字转换为拼音，或反之，是一项基础
零基础部署chatglm
CHNIM的博客
03-25 1万+
chatglm, 类chatgpt, 聊天机器人，文心一言
从零开始写ChatGLM大模型的微调代码
lht0909的博客
04-25 2282
cursor 的下载及安装（免费版每月100次，升级pro 20刀/月）cursor是一款与openai合作的，使用gpt-4的一款编程工具，它可以让你通过gpt-4进行辅助编程，以此提高效率。下载地址：https://www.cursor.so/ cursor的使用cursor的使用方式极其简易，只有两个快捷键，即ctrl+k\ctrl+l。 ctrl+k 表单形式使用按快捷键：ctrl+k弹出输入框，输入你所需要写的代码要求及技术按回车即可。如下图。 程序将自己生成代码： ctrl+l 对话框形式使
ChatGLM-6B (介绍相关概念、基础环境搭建及部署)
热门推荐
王亮的博客
04-04 2万+
chatglm-6b详细部署步骤
国产大语言模型ChatGLM3本地搭建、使用和功能扩展
m0_63171455的博客
06-05 1144
ChatGLM3]
ChatGML2新手速通！自定义魔法指令，一键开启大模型奇妙之旅！
PaddlePaddle
07-28 471
ChatGLM2-6B是中英双语对话模型 ChatGLM-6B 的第二代版本，相比第一代，支持更强大的性能、更长的上下文、更高效的推理。飞桨AI Studio已支持一键云端玩转ChatGLM2-6B！
本地部署清华大模型ChatGlm-6b、ChatGlm2-6b与ChatGlm3-6b（api接口、demo界面、流式非流式）（非常详细）
nfkjdx的博客
12-15 7481
（1）百度网盘下载地址(下载文件中附了非常详细的安装教程)：https://pan.baidu.com/s/1KQNOlYU-GMKbkPGcip1Hzw?pwd=5678（2）直接网上百度下载和安装，非常多教程，这里直接略过。
【大模型书籍】从零开始大模型开发与微调：基于PyTorch与ChatGLM
2401_82469710的博客
04-25 690
【大模型书籍】从零开始大模型开发与微调：基于PyTorch与ChatGLM（附PDF）
白天研究生系列：炼丹专题第三集《本地部署大语言模型保姆级教程——以ChatGLM-6B为例》
PoisonBromChan的博客
12-27 2054
本地部署大语言模型ChatGLM-6B保姆级教程
Python LoRA大模型轻量级微调：实例演示与应用
本文主要介绍了Python中使用LoRA大模型进行轻量级微调的方法，针对自然语言处理（NLP）任务，特别是文本分类和语义理解。LoRA轻量级微调的核心思想是利用预训练的大规模模型（如BERT或GPT-3）在海量数据中学习通用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值