【ChatGLM】本地版ChatGPT ？6G显存即可轻松使用 ！ChatGLM-6B 清华开源模型本地部署教程

已于 2023-05-03 00:28:31 修改
阅读量6k 收藏 20
点赞数 3
文章标签： chatgpt 人工智能 学习 娱乐 深度学习
于 2023-05-03 00:23:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/timberman666/article/details/130467770
版权

目录

感谢B站秋葉aaaki大佬

前言

部署资源

部署流程 

实机演示

ChatGML微调（人格炼成）（个人感觉蛮有趣的地方）

 分享有趣の微调人格

 实机演示（潘金莲人格）

感谢B站秋葉aaaki大佬

秋葉aaaki的个人空间_哔哩哔哩_bilibilihttps://space.bilibili.com/12566101

前言

由于ChatGLM-6B的规模较小，目前已知其具有相当多的局限性，如事实性/数学逻辑错误，可能生成有害/有偏见内容，较弱的上下文能力，自我认知混乱，以及对英文指示生成与中文指示完全矛盾的内容。请大家在使用前了解这些问题，以免产生误解。

很明显这个模型，因为是中文训练的，在很多数据上非常适合中文提问和回答
其次，本模型有思想钢印的存在，部分滑梯是不能说的

 但是其也有着本地部署和开源社区的优势。

部署资源

模型可以从huggingface上下载

THUDM/chatglm-6b · Hugging Facehttps://huggingface.co/THUDM/chatglm-6bwebui项目地址，目前只是简易版仍然在更新 ChatGLM-webui：

Akegarasu/ChatGLM-webui: A WebUI for ChatGLM-6B (github.com)https://github.com/Akegarasu/ChatGLM-webui

链接: 

百度网盘 请输入提取码 (baidu.com)https://pan.baidu.com/share/init?surl=xuCvJDbQYlHECY5-2b3-Eg提取码: y2ab

部署流程 

将这三个压缩包解压到同一个文件夹

解压后如下图所示 

 

 将更新的的压缩包放入文件夹进行替换

实机演示

 点击自己机型对应显存的程序

 进行本地web—UI的配置

 这样便可以在本地配置成功了

ChatGML微调（人格炼成）（个人感觉蛮有趣的地方）

 分享有趣の微调人格

 下载链接人格设定分享_免费高速下载|百度网盘-分享无限制 (baidu.com)https://pan.baidu.com/s/14z3X5BL5n9cJnW7b9GtZ4A?pwd=Glut#list/path=%2F

 实机演示（潘金莲人格）

timberman666
关注
  • 3
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Chat-GLM 详细部署（GPU显存＞=12GB）
Kaitiren的专栏
04-10 9352
【代码】Chat-GLM 详细部署（GPU显存>=12GB）
chatglm——从部署到训练全流程&&你遇到的错误都在这里。
04-17 7879
chatglm成功部署在阿里云PAI平台
【玩转 GPU】本地部署大模型--chatGLM（尝鲜篇）
最新发布
AAI666666的博客
05-17 942
本文主要介绍ChatGLM-6B 的本地部署，提供更保姆级别的教程，让完全不懂技术的同学，也能在本地部署大模型～在19年曾经尝试过使用，当时就被大模型效果惊艳到啊，只是没想到短短3年多，大模型效果提升这么快。学不完，根本学不完…大模型实在太火了，终于还是忍不住对它下手。今天介绍如何在本地部署大模型尝鲜，后面有时间会持续出大模型技术原理篇。大语言模型（Large Language Model），是一种人工智能模型，旨在理解和生成人类语言。
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 5万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
ChatGLM（国内版的chatGPT）
qq_41771998的博客
04-03 2万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。
从零开始的ChatGLM 配置详细教程
风吹落叶的博客
04-22 1万+
最近安装了一下叶佬的一键安装包总感觉，没有被bug虐浑身不舒服遂，去github上重新git clone了官方的下来并部署玩玩。
ChatGLM 本地部署的详细教程
meiwanlanjun的博客
04-04 1万+
4. 下载预训练模型：ChatGLM使用预训练的GPT模型来生成回复。您可以从OpenAI（https://beta.openai.com/docs/models/gpt-3）下载预训练的GPT-3模型。如果您需要更详细的指导，请参考ChatGLM的文档（https://chatglm.readthedocs.io/en/latest/）或联系开发人员。2. 下载代码：从ChatGLM的GitHub仓库（https://github.com/cooelf/ChatGLM）下载代码。
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解).docx
06-08
在本文档中，我们将深入探讨如何在Windows操作系统下部署和运行清华大学开发的ChatGLM-6B语言模型。ChatGLM-6B是一款强大的开源对话语言模型，具备中英双语支持和图像理解功能，其基础是General Language Model (GLM...
ChatGLM2-6B安装使用教程
10-07
ChatGLM2-6B是智谱AI及清华KEG实验室发布的中英双语对话模型。2023年7月，智谱AI及清华KEG实验室决定，ChatGLM-6B和ChatGLM2-6B权重对学术研究完全开放，并且在完成企业登记获得授权后，允许免费商业使用。 在保留...
ChatGLM-webui 清华大语言模型的ui项目.rar
08-02
结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以...
一种平价的chatgpt实现方案, 基于ChatGLM-6B + LoRA
08-29
一种平价的chatgpt实现方案，基于清华的 ChatGLM-6B + LoRA 进行finetune. 数据集: alpaca 有colab的同学可以直接在colab上尝试： Build 官方ptuning代码 Demo 开源版的文心一言 S1 Finetune 准备 显卡: 显存 >=...
手把手教你2小时搭建清华大学ChatGLM
05-15
ChatGLM-6B是清华大学开发的一款强大的对话语言模型，基于General Language Model（GLM）架构，具备62亿参数，支持中英文双语对话。这款模型的设计旨在提供高质量、流畅的对话体验，能够理解和生成自然语言，为用户...
【ChatGLM】手把手教你云服务器部署ChatGLM聊天网站，不限次数调用。
小梁说代码的博客
07-25 4938
ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，由基于清华大学 KEG 实验室与智谱 AI于 2023 年联合训练，可以针对用户的问题和要求提供适当的答复和支持。它基于 General Language Model 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（具体的部署条件看下章）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。
探索ChatGLM-webui：一个强大的聊天室应用Web界面
gitblog_00004的博客
03-24 510
探索ChatGLM-webui：一个强大的聊天室应用Web界面 项目地址:https://gitcode.com/Akegarasu/ChatGLM-webui 项目简介 ChatGLM-webui是Akegarasu开发的一个开源项目，它提供了一个美观且功能丰富的Web用户界面，用于连接和交互于Global Matrix（GLM）网络上的聊天服务器。GLM是一个全球性的、分布式的即时通讯协议，旨...
ChatGLM-6B (介绍相关概念、基础环境搭建及部署)
王亮的博客
04-04 2万+
chatglm-6b详细部署步骤
本地部署清华大模型ChatGlm-6b、ChatGlm2-6b与ChatGlm3-6b（api接口、demo界面、流式非流式）（非常详细）
nfkjdx的博客
12-15 7059
（1）百度网盘下载地址(下载文件中附了非常详细的安装教程)：https://pan.baidu.com/s/1KQNOlYU-GMKbkPGcip1Hzw?pwd=5678（2）直接网上百度下载和安装，非常多教程，这里直接略过。
白天研究生系列：炼丹专题第三集《本地部署大语言模型保姆级教程——以ChatGLM-6B为例》
PoisonBromChan的博客
12-27 1963
本地部署大语言模型ChatGLM-6B保姆级教程
大语言模型 RLHF(一)——ChatGLM代码逐行解读
qjzcy的博客
06-07 5357
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是main方法，里面核心的部分如数据的解析，模型推理训练的框架流程。后续会针对ChatGLM核心优化代码做个解读，
（二）ChatGLM-6B模型部署以及ptuning微调详细教程
西风瘦马
04-09 2万+
ChatGLM-6B模型训练，ptuning微调，大语言模型，LLM
如何在本地部署 chatglm-6b
05-16
ChatGPT-6B 是由 OpenAI 公司开发的一个大型预训练语言模型，需要大量的计算资源来运行。如果你想在本地部署 ChatGPT-6B，需要满足以下条件： 1. 高性能计算硬件，如 NVIDIA GPU，至少要有 16GB 的显存。 2. 安装 CUDA 和 cuDNN，以便在 GPU 上运行 TensorFlow。 3. 安装 TensorFlow 2.0 或更高版本。 4. 下载 ChatGPT-6B 的预训练模型，可以从 OpenAI 的 GitHub 仓库中下载。 一旦满足上述条件，你可以通过 TensorFlow 的 API 加载预训练模型并进行推理。下面是一个简单的 Python 代码片段，展示了如何加载 ChatGPT-6B 模型并生成对话： ```python import tensorflow as tf import numpy as np import openai # Load the pre-trained model model = tf.keras.models.load_model('path/to/pretrained/model') # Define a function to generate text def generate_text(prompt, length=1024, temperature=0.7): input_ids = openai.encode(prompt) input_ids = tf.constant(input_ids, dtype=tf.int32)[tf.newaxis, :] output = model(input_ids) logits = output['logits'][0, -1, :] / temperature probs = tf.nn.softmax(logits) token = tf.random.categorical([probs], num_samples=1)[-1, 0].numpy() text = openai.decode(np.concatenate([input_ids[0].numpy(), [token]])) i = 0 while i < length and token != openai.Token.EOS: i += 1 input_ids = tf.constant([token], dtype=tf.int32)[tf.newaxis, :] output = model(input_ids) logits = output['logits'][0, -1, :] / temperature probs = tf.nn.softmax(logits) token = tf.random.categorical([probs], num_samples=1)[-1, 0].numpy() text += openai.decode([token]) return text # Generate a conversation prompt = "User: Hello\nAI:" for i in range(10): prompt += '\nUser: ' print(prompt) prompt += generate_text(prompt) print(prompt) ``` 注意，由于 ChatGPT-6B 模型需要大量的计算资源，因此在本地部署时可能需要花费较长时间来生成对话。此外，由于 ChatGPT-6B 是一个大型预训练模型，因此预测结果可能会有一定的误差。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值