Langchain-Chatchat修改加载显卡

于 2024-04-24 11:46:49 发布
阅读量696 收藏 6
点赞数 9
分类专栏： Langchian 文章标签： langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xu624735206/article/details/138152700
版权

NLP - LLM - Langchain-Chatchat修改加载显卡

一、Langchain-Chatchat存在问题

Langchain-Chatchat 存在修改加载显卡无效，一直占用GPU0显卡的问题。

二、 Langchain-Chatchat加载显卡配置

1. 模型加载的位置

根目录下 startup.py 文件，create_model_worker_app函数中

在这里插入图片描述

2. 函数中提供模型加载GPU的配置，但是不生效

根本问题是底层包的中不支持该修改，只支持多卡平均加载模型
在这里插入图片描述

三、 修改Langchain-Chatchat加载显卡配置

1. 第一步修改（create_model_worker_app函数中 args.device参数）

设置为模型加载的显卡位置，这里设置为加载到第六块显卡（显卡编号从0开始）
在这里插入图片描述

2. 第二步修改（ModelWorker函数加载位置）

显卡加载不成功的问题存在ModelWorker函数中，这里我们复制fastchat.serve.model_worker.py文件内容另存为 model_worker_1.py放到工程的根目录下 ，修改加载显卡位置。
在这里插入图片描述

model_worker_1.py只需要修改 model_adapter 加载的位置；同样复制from fastchat.model.model_adapter.py文件的内容，重命名为model_adapter1.py文件放到根目录下
在这里插入图片描述

3. 第三步修改（model_adapter1.py文件函数 load_model）

第一个位置：将 “==” 改为 “in”
在这里插入图片描述

第一个位置：同样将 “==” 改为 “in”
在这里插入图片描述
最后：增加模型加载的GPU，修改完成
在这里插入图片描述

大虾飞哥哥
关注
  • 9
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
从零开始langchain-chatchat部署
caoyongsheng的博客
10-15 4313
修改configs\model_config.py.example 将其重命名为configs\model_config.py。修改configs\model_config.py文件中embedding_model_dict配置。下载langchain-chatchat。
win10 安装 Langchain-Chatchat 避坑指南（2023年9月18日v0.2.4版本，包含全部下载内容！）
惟忆
09-19 7607
> 网上教程都是基于外网或者翻墙的，而且细节极其不清晰，尤其是最关键的模型下载。 > 另外提一句，我的显卡是：3080Ti 16GB版本，运行之后，显存占用13-14GB
用通俗易懂的方式讲解大模型：基于 Langchain 和 ChatChat 部署本地知识库问答系统
2301_78285120的博客
12-30 4162
AI 知识库问答系统是一个很有前景的方向，它是对传统知识库系统的一种升级，相信在未来会有很多垂直领域的公司会用到这个技术。从 Langchain Chatchat 项目的发展过程上来看，项目从原来的一个 demo 级别的项目，逐渐向一个完整的产品迈进，在架构、UI 界面、LLM 集成方面也在不断完善，我相信这是一个未来可期的项目。而对于那些还在用老版本的小伙伴，建议尽快升级到新版本，因为项目团队以后的主要精力都会放在新版本的开发上，老版本的功能可能不会再更新了。
【基于ChatGLM搭建本地化知识库 windows10系统】第一部分：Langchain-Chatchat本地化部署，内附遇到问题及解决办法（GPU版本，亲测有效）
wkchaha673的博客
12-02 5004
【基于ChatGLM搭建本地化知识库 windows10系统】第一部分：Langchain-Chatchat本地化部署，内附遇到问题及解决办法（GPU版本，亲测有效）
教程｜使用免费GPU 资源搭建专属知识库 ChatGLM2-6B + LangChain
07-23 1648
“搭建私人定制化AI知识库！详解如何使用云计算资源，部署ChatGLM和LangChain模型，打造专属智能问答工具。”01—申请免费试用阿里云的免费产品申请地址：‍‍‍‍‍‍https://free.aliyun.com/因为免费产品太多太多！在“搜索试用产品”输入框内，输入“PAI”，快速找到我们要申请的机器学习平台API。跟着操作提示步骤一步一步申请即可，中间可能有一些阿里云必要的角色创建...
Langchain-chatchat+ChatGlm3-6b部署
recover517的博客
03-17 1387
直接在上面这个网站下载cuda版本的pytorch，如果原先有非cuda版本的pytorch，可以先通过pip uninstall，再pip install。我的路径是F:\application\anaconda\Lib，文件内容如下。建议直接去git上下载最新的release，clone下来的可能是开发版。在python环境变量库中创建一个pwd.py来替代引入的pwd。更新pytorch版本，先去官网查询适配版本。可能是配置不够，等配置提升后再尝试。显卡：GTX1060-6G。
Langchain-Chatchat源码
10-18
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with ...
langchain-chatchat代码使用
04-13
langchain-chatchat代码结构思维导图
langchain-chatchat在window上使用cpu运行Qwen-1-8B-Chat时遇到ERROR: object
最新发布
04-26
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()，这个问题其实是因为"addmm_impl_cpu_" not implemented for 'Half’这个根本原因导致的，也就是cpu...
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
02-07
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
Langchain-Chatchat-win10本地安装部署成功笔记（CPU）
热门推荐
xqdd的专栏
11-06 1万+
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain。
langchain-ChatGLM源码阅读：模型加载
羊城迷鹿的博客
08-19 1469
：在这一部分代码中，通过调用 get_balanced_memory 函数来获取一个适当的内存分配方案，执行完后每个卡都会产生少量的显存占用。作用：将配置对象的类与模型类或对象建立关联，以便根据配置来获取相应的模型类或对象。作用：遍历权重文件分片，逐一加载这些分片，但会跳过那些只包含磁盘上载权重的分片文件，显示加载的进度条，也就是下面这个东西，但此时模型权重还没有加载到显存中。包路径：site-packages/transformers/models/auto/auto_factory.py。
Langchain-Chatchat实践详解
11-09 8712
本质上是在Langchain基础上封装的一层服务，可以对接底层多种离线LLM和在线的LLM（也可以对接自定义的在线LLM）。提供基于知识库聊天功能相关的一系列API。server/model_workers下面添加线上API的具体定义，可以参考目录下其它线上API定义。generate_stream_gate里面定义具体的接口对接代码。server_config.py中 FSCHAT_MODEL_WORKERS下面新增api绑定端口。
Langchain-Chatchat部署总结
v_wus的博客
01-23 2888
注1：server_config.py的FSCHAT_MODEL_WORKERS字典中也增加了相关配置，如有需要也可通过修改FSCHAT_MODEL_WORKERS字典中对应参数实现多卡加载，且需注意server_config.py的配置会覆盖create_model_worker_app 函数的配置。.py的配置会覆盖create_model_worker_app 函数的配置。，但是实际使用时可根据自己的需求进行模型下载。控制使用的显卡的ID，例如 “0,1”;这里是参考官方文档下载的LLM 模型。
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()
一起来研究langchain和langchain-chatchat
04-17 1298
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()，这个问题其实是因为"addmm_impl_cpu_" not implemented for 'Half’这个根本原因导致的，也就是cpu不支持half精度。网络上大部分文章都让换gpu跑模型。但是有些同学使用的是没有显卡的机器在跑。所以写了这篇文章，帮助大家彻底解决这个问题。
使用Langchain-chatchat搭建本地知识库
Mediterraneansea的博客
11-28 2015
可以使用或者。
langchain-chatchat
09-12
langchain-chatchat是一种人工智能聊天机器人平台，可以提供智能助手和语音交互的功能。它使用自然语言处理和机器学习算法，能够与人类进行对话，并根据用户输入提供相应的回答和建议。 它的核心技术是语音识别和语义理解，它可以将用户的语音输入转化为文字，并分析用户的意图和需求。通过深度学习和大数据分析，它能够不断学习和提高自己的回答和交流能力，达到更高的智能水平。 langchain-chatchat可以在各种场景中应用，比如智能客服、语音助手等。它可以帮助用户解决问题、提供信息、推荐产品等。用户可以通过语音或文字与机器人进行交互，而不必依赖于人类的干预和指导。 此外，langchain-chatchat还具有多语种的能力，可以支持多种语言的交流。这使得它可以适用于不同语言背景的用户，帮助人们进行跨语言交流和理解。 总之，langchain-chatchat是一种智能聊天机器人平台，通过语音识别和语义理解技术，可以与用户进行对话和交流，并帮助解决问题和提供信息。它具有多语种的能力，适用于各种场景，为用户提供方便和便利。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大虾飞哥哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值