部署清华ChatGLM-6B(Linux版）

已于 2024-01-04 22:20:20 修改
阅读量1k 收藏 25
点赞数 17
分类专栏： 大模型 文章标签： windows
于 2024-01-04 22:14:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43564920/article/details/135397270
版权

引言

 前段时间，清华公布了中英双语对话模型 ChatGLM-6B，具有60亿的参数，初具问答和对话功能。最！最！最重要的是它能够支持私有化部署，大部分实验室的服务器基本上都能跑起来。因为条件特殊，实验室网络不通，那么如何进行离线部署呢？

 「部署环境」：CUDA Version 11.0，机器内存32G以上或者机器8G内存+8G显卡内存。

安装Miniconda，

1.1 获取安装包

 因为Miniconda自带python，所以要在官网下载python版本为3.10的Miniconda版本。下载地址为：https://docs.conda.io/en/latest/miniconda.html#linux-installers，具体截图如下。

图片

1.2 安装 Miniconda

 将Miniconda下载安装包放到你要放的目录，这里我放在：/home/work/miniconda 中，然后执行sh Miniconda3-latest-Linux-x86_64.sh 如下图所示：

最低0.47元/天 解锁文章
AI知识图谱大本营
关注
  • 17
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
ChatGLM-webui 清华大语言模型的ui项目.rar
08-02
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答 为了方便方便我们测试，我们需要进行本地化部署，本教程将进行linux服务器端进行部署，进行三种形式的部署，webui界面，命令行方式，api调用的方式，方便大家多种方式进行使用
【ChatGLM2-6B】在只有CPU的Linux服务器上进行部署
太空眼睛的专栏
10-18 861
如果机器的内存资源不多，命令行交互模式、可视化模式、API模式，通常只能运行一种再启动另外一个脚本时，会导致前一个启动的进行被killedChatGLM2在多个中文数据集上测试结果优于GPT，比上代版本ChatGLM1有较大改善，受限于训练数据和资源，从实际效果看推理对话内容仍比较简单，本次部署在云端的CPU，推理过程需要几分钟，甚至十几分钟，不过重在体验，看下效果。有兴趣的话使用GPU能够较大程度提高反应速度，几秒就能给出答案。
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
xzp740813的博客
04-30 828
大家好，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
清华开源语言大模型ChatGLM-6B调研
Bright20040513的博客
11-30 1600
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
一文吃透多模态：多模态大模型的探索 五大研究方向与十大应用领域！
kaka0722ww的博客
04-07 3488
理想中的多模态大模型具备跨模态的泛化理解和生成能力，其更符合人类感知世界的方式，其或能进一步打开AI能力的上限。产业界也在积极探索多模态大模型可行的技术路径，在多模态领域“复刻”大语言模型的成功。但目前多模态大模型的技术栈也尚未收敛，多模态学习和跨模态对齐仍为技术难点，未来产业发展仍有无限可能。在大模型兴起之后，产业也试图在图像、视频、音频等更多模态领域复现“Scaling Law”的成功，继续实现大模型的“智能涌现”。• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；
清华ChatGLM2-6B开源！第二代性能大幅提升，推理提速42%，最高支持32K上下文
u012744245的博客
07-06 1024
推理性能提升了42%：基于 Multi-Query Attention 技术，ChatGLM2-6B有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。在主要评估LLM模型中文能力的 C-Eval 榜单中，截至6月25日 ChatGLM2 模型以 71.1 的分数位居榜首，超越GPT-4，而最新版本 ChatGLM2-6B 模型以 51.7 的分数位居第7，是榜单上排名最高的开源模型。
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解).docx
06-08
在本文档中，我们将深入探讨如何在Windows操作系统下部署和运行清华大学开发的ChatGLM-6B语言模型。ChatGLM-6B是一款强大的开源对话语言模型，具备中英双语支持和图像理解功能，其基础是General Language Model (GLM...
ChatGLM3+更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数
01-11
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代...更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放
Windows10下史上最新版本最详细ChatGLM36B环境搭建详细步骤
11-11
ChatGLM3-6B是由智谱AI和清华大学KEG实验室联合发布的中英双语对话模型，其在多项指标上表现出显著的性能提升，包括更高的MMLU、CEval、GSM8K和BBH数据集得分。此外，模型还具备更长的上下文处理能力，更快的推理...
手把手教你2小时搭建清华大学ChatGLM
05-15
ChatGLM-6B是清华大学开发的一款强大的对话语言模型，基于General Language Model（GLM）架构，具备62亿参数，支持中英文双语对话。这款模型的设计旨在提供高质量、流畅的对话体验，能够理解和生成自然语言，为用户...
十分钟部署清华 ChatGLM-6B，实测效果超预期（Linux版）
2201_75499313的博客
01-10 1379
按照上面的操作，最终的文件夹目录如下：上面参数主要是：模型路径、监听端口、以及模型工作模式；除此之外还有其它的几个参数没有用到。指定模型路径–listen如果不加该参数，只能通过127.0.0.0本地访问。注意：在centos服务器上部署，该参数一定要加，不然没有办法通过IP加端口访问模型服务。–port没有啥好说的，指定端口用的。–share通过gradio进行分享，它会帮你生成一个域名连接，但是需要访问互联网。离线centos服务器部署用不到。–precision。
从0开始搭建清华ChatGLM3 6b大模型（Windows RTX4090版）
sjh752422969的专栏
01-02 3903
本文基于RTX4090 从0开始搭建清华chatglm3，相当基础
清华ChatGLM-6B本地GPU推理部署
https://www.zhihu.com/people/mu-zi-zhi-6-28
04-24 2861
是一个开源的、支持中英双语的对话语言模型，基于General Language Model（GLM）架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。
清华 ChatGLM-6B 中文对话模型部署简易教程
热门推荐
小白的成长
03-20 6万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
清华大学开源的chatGLM-6B部署实战
沧海之巅的专栏
04-08 1349
wsl导入任意Linux发行版本 https://learn.microsoft.com/zh-cn/windows/wsl/use-custom-distro 可选。wsl开发环境配置 https://learn.microsoft.com/zh-cn/windows/wsl/setup/environment。显卡驱动自行更新 https://www.nvidia.cn/Download/index.aspx?需自行研究，失败因素过多无法列举，尤其是启用虚拟化失败导致无法正常启动wsl服务。
Java小技能：多级组织机构排序并返回树结构（包含每个层级的子节点和业务数据集合）
iOS逆向与安全
07-17 1171
包含每个层级的子节点和业务数据集合。
Python 基础——元组
hpz3292887609的博客
07-16 359
3.元组类型定义时重要的是“ , ” ，创建和访问一个元组。+ ： 拼接，左右的类型必须。and or 逻辑操作符。5.元组相关的操作符一致。#该代码会显示运行错误。4.更新和删除一个元组。
Qt创建列表，通过外部按钮控制列表的选中下移、上移以及左侧图标的显现
最新发布
肩上风骋的博客
07-17 642
项目中需要使用列表QListWidget，但是不能直接拿来使用。需要创建一个列表，通过向上和向下的按钮来向上或者向下移动选中列表项，当当前项背选中再去点击确认按钮，会在列表项的前面出现一个图标。
chatglm-6b
07-28
ChatGLM-6B是一种对话模型，具有很强的代码生成能力，并且可以部署到个人电脑上或使用华为的免费GPU。它在同参数量下可以超越其他对话模型，并且官方表示还会进一步压缩模型。你可以在Huggingface模型文件页面下载ChatGLM-6B模型\[2\]。此外，还有ChatGLM-6B-INT4模型，它是ChatGLM-6B量化后的模型权重，可以在嵌入式设备上运行\[3\]。你可以在ChatGLM的GitHub页面下载相关文件，并按照指南配置环境和启动demo程序\[3\]。总的来说，ChatGLM-6B是一款非常令人惊喜的对话模型，推荐大家尝试部署和使用。 #### 引用[.reference_title] - *1* *2* *3* [清华 ChatGLM-6B 中文对话模型部署简易教程](https://blog.csdn.net/qq_43475750/article/details/129665389)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI知识图谱大本营

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值