LLM学习笔记(1)--本地部署ChatGLM3

已于 2024-09-06 16:14:22 修改
阅读量1.1k 收藏 14
点赞数 16
文章标签： 笔记 深度学习 人工智能
于 2024-09-05 14:07:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2303_81265404/article/details/141875230
版权

使用chatGLM3-6b作为预训练模型，计划完成部署并能实现其自带一些demo。

目录

出现问题一：在安装依赖时出现“Installing build dependencies ..."停顿

        原因：推断是网络问题导致依赖下载失败。

        解决方法：通过使用镜像源下载解决问题。

问题二：huggingface_hub==0.23.0时运行出现“ModuleNotFoundError: No module named 'huggingface_hub.inference._text_generation” 的报错

        原因：应该是huggingface_hub的版本不对。

        解决方法：

问题三：在conda安装时并出现以下报错：pip的依赖解析器目前没有考虑所有已安装的包。

        原因：阅读报错内容可知

        解决方法：对照依赖。

问题四：RuntimeError: Tensor on device cpu is not on the expected device meta!

        原因：

        解决方法：

 

出现问题一：在安装依赖时出现“Installing build dependencies ..."停顿

        原因：推断是网络问题导致依赖下载失败。

        解决方法：通过使用镜像源下载解决问题。

具体代码如下：

pip install -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com -r requirements.txtc6db4b4e7e0a42a69e036ae1a44c76a1.png

 

问题二：huggingface_hub==0.23.0时运行出现“ModuleNotFoundError: No module named 'huggingface_hub.inference._text_generation” 的报错

030370670bfc4de78aae58ae48bc6506.png

       

        原因：应该是huggingface_hub的版本不对。

        解决方法：

通过pip show huggingface-hub
查看huggingface-hub的版本

pip uninstall huggingface-hub
来卸载掉huggingface_hub

然后再通过

pip install huggingface-hub==0.21.4
安装指定版本的是huggingface-hub
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/psbeond/article/details/137919575

后再次运行，出现问题四。

 

问题三：在conda安装时并出现以下报错：pip的依赖解析器目前没有考虑所有已安装的包。

6f17ecd3ece24ebe947a41943375b3b9.png

        原因：阅读报错内容可知

这种行为是下列依赖冲突的根源。dataset2.19.1需要huggingface-hub>=0.21.2，但你有huggingface-hub 0.19.4，这是不兼容的。transformers4.44.2需要huggingface-hub<1.0，>=0.23.2，但你有huggingface-hub 0.19.4，这是不兼容的。

808fe35146b64d01b0bc26b104b19729.png

        解决方法：对照依赖。

将transformers版本改为4.40.2，并将其他依赖均对照requirement.txt进行版本矫正。

 

问题四：RuntimeError: Tensor on device cpu is not on the expected device meta!

运行时错误:设备cpu上的张量不在预期的设备元上!

并发现GPU没有运作

3f1087d604cc4395813ec2f43d90689a.png

        原因：

发现是pip安装使用了阿里云作为镜像源的问题。我主观凭感觉是阿里云这边不支持gpu的pytorch。然后换了conda并用清华源安装pytorch后，验证成功。

安装pytorch的代码：（使用的12.1的版本） 

        解决方法：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/ -c nvidia

验证cuda和torch是否可用

443a34de2dcb4ff582d0834503a3d023.png

参考文章：【玩转 GPU】本地私有化部署大模型--chatGLM（尝鲜篇）_大模型私有化部署-CSDN博客

 

yali325
关注
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
AI天才研究院
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
DB-GPT、ChatGLM3-6B全精度部署_db-gpt chatglm
w5jaLw的博客
04-20 796
习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**
安装失败报错 Installing build dependencies ... error[pythonn setup.py isntall]
计算机视觉
05-26 5101
安装各种包例如fairscale。然后使用下面指令安装。
《Python笔记》安装(pip)第三方包报错
镰刀 & 锤子；热情 & 初心
06-05 1万+
pip 安装numpy报错，微软 Visual Studio 重新搭建C++编译环境
安装Pyradiomics报错求助
最新发布
Z154887554的博客
02-14 471
无论使用pip直接下载，或者pypi下载安装到导入，还是清华镜像源，都会报错下面的信息。而且我检查了numpy是在的。
pip install -e .一直卡在Installing build dependencies ...没显示内容
weixin_47987154的博客
12-13 1682
安装vllm-gptq包的时候，执行pip install -e .之后一直卡在installing build dependencies，没有显示任何内容，如下图所示。解决办法：pip intall -e .之后加上-v显示详细信息，然后等一个一个小包安装好就行。最后安装好之后如下图。
【问题处理小知识】pip安装第三方库时No module named ‘_distutils_hack‘错误处理
今晚打老虎的专栏
01-17 6507
当你采用pip安装第三方库时出现No module named ‘_distutils_hack‘错误，多半原因是由于setuptools库版本不对导致，下文将介绍具体处理方法。
【踩坑】pip安装依赖卡在Installing build dependencies ...
m0_51371693的博客
12-05 7535
设置pip镜像源
windows11 本地化部署ChatGLM2-6B 安装笔记
weixin_42118737的博客
04-29 1467
详细记录了windows11 安装本地化部署ChatGLM2-6B的全过程
Chatglm3-6B Chat/Base保姆级本地部署以及工具调用
m0_73458275的博客
01-12 9707
保姆级本地部署，金牌讲师级工具调用--基于全球10B以下最强LLM模型ChatGLM3-6B
TensorRT-LLM保姆级教程-快速入门
2401_86435672的博客
09-28 1408
TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大语言模型 (LLM) 并构建 TensorRT 引擎，以便在 NVIDIA GPU 上高效地执行推理。TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时组件。此外，它还包括一个用于与 NVIDIA Triton 推理服务集成的后端；同时， 使用 TensorRT-LLM 构建的模型可以使用使用张量并行和流水线并行在单 GPU 或者多机多 GPU 上执行。
python pip命令安装 pyinstaller失败提示Installing build dependencies ... error
热门推荐
qingfengjuechen的专栏
10-15 4万+
1. 现象： 2. 解决方案，自己下载，手动安装 2.1 下载地址：https://pypi.org/project/PyInstaller/3.5/#files 2.2 解压到E:\python\PyInstaller-3.5 2.3 cmd进入到解压后的目录 E:\python\PyInstaller-3.5> 2.4 手动安装 E:\python\PyInstaller-3....
Python:ModuleNotFoundError: No module named 模块名 错误及解决方案
SeaSky_Steven的博客
05-29 2万+
背景描述： 当在idea编写python文件导入上级其它同级目录下文件时，编码检查及行行正常，但在linux远程使用命令执行报“ModuleNotFoundError: No module named 模块名”错误。 项目目录结构及执行脚本如下： 原因： 首先，了解os和sys的区别： os: 这个模块提供了一种方便的使用操作系统函数的方法。如：os.path.exists() 是否存在, sys： 这个模块可供访问由解释器使用或维护的变量和与解释器进行交互的函数。如：sys.argv ..
error: subprocess-exited-with-error 及Package cairo was not found in the pkg-config search path.解决
kcarly的专栏
05-18 2190
error: subprocess-exited-with-error 及Package cairo was not found in the pkg-config search path.解决
使用huggingface的pipeline进行文本生成Text Generation
我的博客
02-10 728
使用huggingface进行文本生成
Huggingface的文本生成推理工具包（Text Generation Inference Toolkit）
hyang1974的博客
05-06 1935
大型语言模型(LLM)迅速普及，几乎每周都会出现新的模型，这引发了用于容纳这项技术的托管选项的同步增长。在可用于此目的的众多工具中，Hugging Face 的文本生成推理 (Text Generation Inference，TGI) 尤其值得一提，因为它允许我们在本地机器上将 LLM 作为服务运行。
安装cv2 出现installing build dependencies
qq_45308870的博客
02-21 3万+
在使用pip install opencv-python 安装 cv2的过程中出现了installing build dependencies错误。 错误原理：这个指令安装的pip会出现CV2版本与python安装的版本，不匹配导致，你安装的opencv不成功。 解决方法：使用 python -m pip install --upgrade pip 更新pip后再使用pip install opencv-python 安装。 ...
No module named ‘huggingface_hub‘
AI浩
12-02 410
【代码】No module named ‘huggingface_hub‘
07-04 周四 关于vLLM(LLMs_inference)源码安装过程问题与解决
不当初
07-10 4335
由于最近需要向vLLM上集成功能，因此，需要能够调试自己的仓库LLMs_Inference，该文档记录了源码编译的完整的过程。正常简单执行下述的代码，即可完成源码的编译安装cd vllm但实际上还是比较麻烦的。因为仓库LLMs_Inference是从vllm仓库fork出来的，所以理论上应该是一样的。仓库中有多个依赖环境，这些文件通常用于记录项目的依赖关系，以便在特定环境中进行安装和配置。：一般用于列出项目所需的所有依赖项及其版本要求。通过在该文件中指定所需的库和版本，方便一次性安装所有依赖。
pip install 卡在installing build
01-06
### 解决 `pip install` 卡在 &#39;installing build&#39; 的问题 当遇到 `pip install` 过程中卡住的情况，通常是因为网络连接不稳定、依赖项缺失或是环境配置不正确等原因造成的。以下是几种可能的解决方案： #### 1. 使用 `-v` 参数查看详细日志 通过增加命令的详细程度来获取更多信息可以帮助定位具体原因。可以尝试运行带有 `-v` 参数的命令： ```bash pip install modulename -v ``` 这会显示更详细的安装过程信息，有助于排查问题所在[^1]。 #### 2. 更新 pip 和 setuptools 工具 有时旧版本的工具可能会导致兼容性问题，因此建议先更新这些工具到最新版： ```bash python -m pip install --upgrade pip setuptools wheel ``` 这样能确保使用的包管理器是最新的，并且支持最新的打包标准[^3]。 #### 3. 尝试离线安装或指定镜像源 如果网络条件较差，则可以选择下载.whl文件后进行本地安装；或者切换成国内较快的速度更快的PyPI镜像站点，比如阿里云等： ```bash pip install modulename -i https://mirrors.aliyun.com/pypi/simple/ ``` 对于某些特定模块如pysqlcipher3，也可以考虑从GitHub上克隆仓库并手动编译安装[^2]。 #### 4. 检查系统库路径设置 确认系统的开发库路径是否已正确添加至环境变量中，特别是针对C++扩展构建时所需的头文件和静态链接库位置。例如，在Windows环境下应包含如下目录： ``` E:\VisualStudio\VC\Tools\MSVC\14.29.30133\lib\x64; C:\Program Files (x86)\Windows Kits\8.1\Lib\winv6.3\um\x86; C:\Program Files (x86)\Windows Kits\10\Lib\10.0.14393.0\ucrt\x86 ``` 以上路径需根据实际安装情况进行调整[^4]。 #### 5. 清理缓存重试 有时候之前的失败操作会在临时文件夹留下残留数据影响后续执行，可以通过清理pip缓存后再重新尝试解决问题： ```bash pip cache purge ``` 之后再正常执行安装指令即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值