清华 chatglm 本地部署

最新推荐文章于 2024-06-03 16:00:00 发布
最新推荐文章于 2024-06-03 16:00:00 发布
阅读量323 收藏 4
点赞数 1
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33253054/article/details/130772869
版权

一.环境配置需求

硬件需求：
在这里插入图片描述
软件需求
安装cuda
Window10搭建GPU环境（CUDA、cuDNN）
安装 pytorch
pip 安装 pytorch

二.安装chatglm

安装chatglm

git clone https://github.com/THUDM/ChatGLM-6B.git

安装python库
requirements.txt 在安装的chatglm目录下

pip install -r requirements.txt

模型下载

transformers 的使用

参考文章
清华ChatGLM-6B本地GPU推理部署
chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署
新手搭建ChatGLM-6B踩坑记录，有人说ChatGLM-6B可以达到ChatGPT的七八十，支持本地跑

咸鱼布衣
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
从零开始大模型开发与微调：最强的中文大模型—清华大学ChatGLM介绍
AGI通用人工智能之禅
05-27 528
1. 背景介绍 近年来，人工智能领域的发展迅猛，大型语言模型（如BERT、GPT-3、GPT-4）在各个领域取得了显著的进展。其中，中文大型语言模型也在不断发展，涌现出一批强大的模型，如OpenAI的GPT-3、GPT-4、Bert等。然而，这些模型的训练和部署成本较高，需要大量的计算资源和时间。因此，在过去几年里，我们团队一直致力于研究如何开发高效
本地部署清华大模型ChatGlm-6b、ChatGlm2-6b与ChatGlm3-6b（api接口、demo界面、流式非流式）（非常详细）
nfkjdx的博客
12-15 7489
（1）百度网盘下载地址(下载文件中附了非常详细的安装教程)：https://pan.baidu.com/s/1KQNOlYU-GMKbkPGcip1Hzw?pwd=5678（2）直接网上百度下载和安装，非常多教程，这里直接略过。
ChatGLM：清华开源本地部署（2023/05/06更新）
asd123pwj的博客
05-02 3803
ChatGLM 的本地部署及 API 调用。
清华大学开源的chatGLM-6B部署实战
沧海之巅的专栏
04-08 1376
wsl导入任意Linux发行版本 https://learn.microsoft.com/zh-cn/windows/wsl/use-custom-distro 可选。wsl开发环境配置 https://learn.microsoft.com/zh-cn/windows/wsl/setup/environment。显卡驱动自行更新 https://www.nvidia.cn/Download/index.aspx?需自行研究，失败因素过多无法列举，尤其是启用虚拟化失败导致无法正常启动wsl服务。
ChatGLM本地部署应用的实战方案
热门推荐
herosunly的博客
03-29 11万+
本文主要介绍了ChatGLM本地部署应用的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 安装虚拟环境 2. 下载文件 2.1 下载源代码 2.2 下载模型依赖文件 2.3 下载模型文件 3. 安装依赖库 4. 运行ChatGLM 4.1 方式一 4.2 方式二
ChatGLM2本地部署的实战方案
herosunly的博客
06-27 11万+
本文主要介绍了ChatGLM2本地部署应用的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 下载权重文件 4. 运行ChatGLM2 4.1 方式一 4.2 方式二
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解).docx
06-08
即使在没有高端GPU的环境下，通过量化技术也能在消费级计算机上实现本地部署。 首先，了解ChatGLM-6B的基本功能，它可以进行各种问答任务，提供与用户的交互式对话体验。对于那些没有GPU资源的用户，该模型提供了...
【本地逐步部署教程】清华ChatGLM-6B本地部署，适合小白和具备一定基础的大模型尝试者
weixin_45666317的博客
07-11 1298
详细讲解Anaconda的安装、虚拟环境的创建和镜像源配置、ChatGLM-6B模型代码和模型参数的下载、CUDA驱动包括CuDNN的安装、ChatGLM-6B运行
GLM-130B本地部署的实战方案
herosunly的博客
07-04 7万+
本文主要介绍GLM-130B本地部署的实战方案，希望对学习大语言模型的同学们有所帮助。需要说明的是GLM-130B是未进行微调的版本，还无法达到ChatGLM-130B的效果。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行GLM-130B模型
清华大学ChatGLM-6B部署运行
xu_guo_jie的博客
04-17 1305
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的。
【人工智能AI2.0】清华发布了 ChatGLM-6B & 中国大模型5支学术界团队和10大产业界力量介绍
程序员光剑
03-18 2万+
清华技术成果转化的公司智谱 AI 开源了系列模型 ChatGLM-6B，这是一个支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。GLM 模型开源地址：ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。
离线AI聊天清华大模型(ChatGLM3)本地搭建指南
最新发布
2401_84204413的博客
06-03 982
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
weixin_42878111的博客
04-28 2万+
大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
清华大学chatGLM论文解读
zsq_csh1的博客
05-28 8806
2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测[2]，GLM-130B 是亚洲唯一入选的大模型。在与 OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中，评测报告显示 GLM-130B 在准确性和恶意性指标上与 GPT-3 175B (davinci) 接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中表现不错。
本地部署清华大模型 ChatGLM3
王清欢的博客
11-03 2万+
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
一文吃透多模态：多模态大模型的探索 五大研究方向与十大应用领域！
kaka0722ww的博客
04-07 4850
理想中的多模态大模型具备跨模态的泛化理解和生成能力，其更符合人类感知世界的方式，其或能进一步打开AI能力的上限。产业界也在积极探索多模态大模型可行的技术路径，在多模态领域“复刻”大语言模型的成功。但目前多模态大模型的技术栈也尚未收敛，多模态学习和跨模态对齐仍为技术难点，未来产业发展仍有无限可能。在大模型兴起之后，产业也试图在图像、视频、音频等更多模态领域复现“Scaling Law”的成功，继续实现大模型的“智能涌现”。• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；
chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署
xuxu96
04-02 1万+
chatglm模型本地化三种方式部署
清华智谱AI大模型ChatGLM-Pro申请开通教程
学习笔记，人工智能，教程，技术分享！
10-10 4424
ChatGLM系列模型，包括ChatGLM-130B和ChatGLM-6B模型，支持相对复杂的自然语言指令，并且能够解决困难的推理类问题。其中，ChatGLM-6B模型吸引了全球超过 160 万人下载安装，该模型在 Hugging Face (HF) 全球大模型下载榜中连续 12 天位居第一名，在国内外的开源社区中产生了较大的影响。清华智谱AI大模型ChatGLM-Pro申请开通教程。
智谱AI ChatGLM3本地部署教程：快速上手与硬件需求
为了进行本地部署，文档提供了一套详细的步骤指南，包括： - **硬件需求**：推荐使用Nvidia显卡，其中FP16精度需要至少13GB显存，INT8和INT4精度则分别需要8GB和5GB显存。此外，至少需要32GB内存，如果内存不足，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值