LLM学习笔记(1)--本地部署ChatGLM3

已于 2024-09-06 16:14:22 修改
阅读量813 收藏 12
点赞数 15
文章标签： 笔记 深度学习 人工智能
于 2024-09-05 14:07:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2303_81265404/article/details/141875230
版权

使用chatGLM3-6b作为预训练模型，计划完成部署并能实现其自带一些demo。

目录

出现问题一：在安装依赖时出现“Installing build dependencies ..."停顿

        原因：推断是网络问题导致依赖下载失败。

        解决方法：通过使用镜像源下载解决问题。

问题二：huggingface_hub==0.23.0时运行出现“ModuleNotFoundError: No module named 'huggingface_hub.inference._text_generation” 的报错

        原因：应该是huggingface_hub的版本不对。

        解决方法：

问题三：在conda安装时并出现以下报错：pip的依赖解析器目前没有考虑所有已安装的包。

        原因：阅读报错内容可知

        解决方法：对照依赖。

问题四：RuntimeError: Tensor on device cpu is not on the expected device meta!

        原因：

        解决方法：

 

出现问题一：在安装依赖时出现“Installing build dependencies ..."停顿

        原因：推断是网络问题导致依赖下载失败。

        解决方法：通过使用镜像源下载解决问题。

具体代码如下：

pip install -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com -r requirements.txtc6db4b4e7e0a42a69e036ae1a44c76a1.png

 

问题二：huggingface_hub==0.23.0时运行出现“ModuleNotFoundError: No module named 'huggingface_hub.inference._text_generation” 的报错

030370670bfc4de78aae58ae48bc6506.png

       

        原因：应该是huggingface_hub的版本不对。

        解决方法：

通过pip show huggingface-hub
查看huggingface-hub的版本

pip uninstall huggingface-hub
来卸载掉huggingface_hub

然后再通过

pip install huggingface-hub==0.21.4
安装指定版本的是huggingface-hub
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/psbeond/article/details/137919575

后再次运行，出现问题四。

 

问题三：在conda安装时并出现以下报错：pip的依赖解析器目前没有考虑所有已安装的包。

6f17ecd3ece24ebe947a41943375b3b9.png

        原因：阅读报错内容可知

这种行为是下列依赖冲突的根源。dataset2.19.1需要huggingface-hub>=0.21.2，但你有huggingface-hub 0.19.4，这是不兼容的。transformers4.44.2需要huggingface-hub<1.0，>=0.23.2，但你有huggingface-hub 0.19.4，这是不兼容的。

808fe35146b64d01b0bc26b104b19729.png

        解决方法：对照依赖。

将transformers版本改为4.40.2，并将其他依赖均对照requirement.txt进行版本矫正。

 

问题四：RuntimeError: Tensor on device cpu is not on the expected device meta!

运行时错误:设备cpu上的张量不在预期的设备元上!

并发现GPU没有运作

3f1087d604cc4395813ec2f43d90689a.png

        原因：

发现是pip安装使用了阿里云作为镜像源的问题。我主观凭感觉是阿里云这边不支持gpu的pytorch。然后换了conda并用清华源安装pytorch后，验证成功。

安装pytorch的代码：（使用的12.1的版本） 

        解决方法：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/ -c nvidia

验证cuda和torch是否可用

443a34de2dcb4ff582d0834503a3d023.png

参考文章：【玩转 GPU】本地私有化部署大模型--chatGLM（尝鲜篇）_大模型私有化部署-CSDN博客

 

yali325
关注
ModuleNotFoundError: No module named ‘huggingface_hub.inference._text_generation‘解决方案
weixin_43178406的博客
08-22 2万+
本文主要介绍了ModuleNotFoundError: No module named 'huggingface_hub.inference._text_generation’解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
程序员光剑
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
《Python笔记》安装(pip)第三方包报错
镰刀 & 锤子；热情 & 初心
06-05 1万+
pip 安装numpy报错，微软 Visual Studio 重新搭建C++编译环境
安装失败报错 Installing build dependencies ... error[pythonn setup.py isntall]
计算机视觉
05-26 3756
安装各种包例如fairscale。然后使用下面指令安装。
已解决ModuleNotFoundError: No module named
热门推荐
03-28 15万+
ModuleNotFoundError通常是由于缺少相关的Python模块导致的。
【问题处理小知识】pip安装第三方库时No module named ‘_distutils_hack‘错误处理
今晚打老虎的专栏
01-17 4572
当你采用pip安装第三方库时出现No module named ‘_distutils_hack‘错误，多半原因是由于setuptools库版本不对导致，下文将介绍具体处理方法。
python pip命令安装 pyinstaller失败提示Installing build dependencies ... error
qingfengjuechen的专栏
10-15 4万+
1. 现象： 2. 解决方案，自己下载，手动安装 2.1 下载地址：https://pypi.org/project/PyInstaller/3.5/#files 2.2 解压到E:\python\PyInstaller-3.5 2.3 cmd进入到解压后的目录 E:\python\PyInstaller-3.5> 2.4 手动安装 E:\python\PyInstaller-3....
DB-GPT、ChatGLM3-6B全精度部署_db-gpt chatglm
最新发布
w5jaLw的博客
04-20 671
习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**
ChatGLM3在Docker环境部署(1)
2401_84008965的博客
04-20 897
点，真正体系化！**
ubuntu22.04CPU部署ChatGLM笔记
Raine_Yang的博客
06-19 1152
尽管官方文档上说明ChatGLM int4模型只需要6G的运行内存，但是在运行上一步的模型时我电脑8G的内存依然跑满导致进程被终止。另外在我尝试英文对话时，模型出现了官方说明过的“英文中出现中文问题”。在我们下载好模型文件后，将里面的"THUDM/chatglm-6b"改为本地模型的地址。另外官方建议指定运行的模型版本。在我自己情况下，ChatGLM只有在加载参数文件过程中会占用大量的内存（差不多10G以上），在模型加载完成后占用内存会稳定在6G，但是根据官方文档介绍随着对话增加内存占用也会逐步增加。
LLM-3-ChatGLM2
qq_15821487的博客
08-27 421
训练的输入长度=source的长度+target的长度–pre_seq_len：pre_seq_len的取值范围一般是1到512，它表示自然语言指令的长度，即输入序列中的前pre_seq_len个token，具体的值需要根据自然语言指令的长度和复杂度来确定。一般来说，指令越长越复杂，pre_seq_len就需要越大，以便模型能够充分理解指令的含义。但是，pre_seq_len也不能太大，否则会占用过多的输入序列长度，导致生成内容过于单一或重复。
Python:ModuleNotFoundError: No module named 模块名 错误及解决方案
SeaSky_Steven的博客
05-29 2万+
背景描述： 当在idea编写python文件导入上级其它同级目录下文件时，编码检查及行行正常，但在linux远程使用命令执行报“ModuleNotFoundError: No module named 模块名”错误。 项目目录结构及执行脚本如下： 原因： 首先，了解os和sys的区别： os: 这个模块提供了一种方便的使用操作系统函数的方法。如：os.path.exists() 是否存在, sys： 这个模块可供访问由解释器使用或维护的变量和与解释器进行交互的函数。如：sys.argv ..
安装cv2 出现installing build dependencies
qq_45308870的博客
02-21 3万+
在使用pip install opencv-python 安装 cv2的过程中出现了installing build dependencies错误。 错误原理：这个指令安装的pip会出现CV2版本与python安装的版本，不匹配导致，你安装的opencv不成功。 解决方法：使用 python -m pip install --upgrade pip 更新pip后再使用pip install opencv-python 安装。 ...
成功解决RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-02 1万+
​ 成功解决RuntimeError: "addmm_impl_cpu_" not implemented for 'Half' 目录 解决问题 解决思路 解决方法 解决问题 torch.set_default_tensor_type(torch.HalfTensor)RuntimeError: "addmm_impl_cpu_" not implemented for 'Half' 解决思路 运行时错误:"addmm_impl_cpu_"未为'Half'实现 在PyTorch中，半精度
Vue CLI 创建项目 Installing project dependencies太慢解决方案——实测简单有效
qwe122343的博客
02-21 6537
（这是webstorm创建vue项目的控制台界面） Installing project dependencies这一步之后就特别慢，不知大家有没有遇到过？解决方案如下： 当这一步感觉时间太长时退出安装，敲入n 接下来只需要一行代码即可解决问题： npm config set registry https://registry.npm.taobao.org 接下来重新敲入 【vue init...
RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘
gaohongfeng1的博客
01-05 3372
将model.half() 改成 model.float()使用CPU进行推理时，遇到。
【无标题】在线询问各位
2301_80827269的博客
11-04 90
直接用pip3Q install -upgrade numpy或者pip3 install numpy命令安装，结果会长时间卡在“Installing build dependencies .. ”等了好久后出现-堆报错信息。为了装python-opencv需要将树莓派Q原来的numpy升级到1.19 3以上版本。
RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘解决方案
weixin_43178406的博客
04-18 7万+
本文主要介绍了RuntimeError: “addmm_impl_cpu_” not implemented for 'Half’解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
ChatGLM2-6B的P-Tuning微调
weixin_43815222的博客
07-05 4140
注：ChatGLM2-6B官网给的环境P-Tuning微调报错。可复用ChatGLM-6B（上述部署教程），即。
langchain-chatglm知识库
09-14
langchain-ChatGLM是一个基于本地知识的问答机器人，它允许使用者自由配置本地知识。用户的问题答案也是基于本地知识生成的。你可以在GitHub上找到langchain-ChatGLM的代码和相关信息，链接为：GitHub - imClumsyPanda/langchain-ChatGLM。 langchain-ChatGLM是在ChatGPT火热之后发布的一款大型语言模型（LLM）模型之一。与其他开源的LLM模型（如BLOOM和LLaMA）相比，langchain-ChatGLM是完全开源的。然而，需要注意的是，这些模型的知识是滞后的，比如ChatGPT的知识截止到2021年，并且这些知识是通用领域的，不包含特定领域的知识。 langchain-ChatGLM的架构如图1所示。它通过从本地知识库中获取与用户查询相关的上下文来生成答案。至于具体的langchain-chatglm知识库的内容，我无法给出具体细节，因为它是用户自由配置的，可以根据用户的需求和设置而不同。 总之，langchain-ChatGLM是一个基于本地知识的问答机器人，用户可以自由配置本地知识，并根据本地知识生成用户问题的答案。你可以在GitHub上找到langchain-ChatGLM的代码和更多信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值