2024-8-1搭建langchain-chatchat使用向量模型和oneapi

于 2024-08-02 10:00:34 发布
阅读量117 收藏 3
点赞数 2
分类专栏： 大模型 文章标签： langchain oneapi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wade1010/article/details/140864901
版权

搭建

大部分参考官方教程
https://github.com/chatchat-space/Langchain-Chatchat/blob/master/docs/install/README_docker.md

下面是docker-composer.yaml文件，我修改了本地映射的目录。本地目录我都提前建好了。

version: '3.9'
services:
  xinference:
    image: xprobe/xinference:v0.12.3
    restart: always
    command: xinference-local -H 0.0.0.0
    ports: # 不使用 host network 时可打开.
     - "9997:9997"
    # network_mode: "host"
    # 将本地路径(~/xinference)挂载到容器路径(/root/.xinference)中,
    # 详情见: https://inference.readthedocs.io/zh-cn/latest/getting_started/using_docker_image.html
    volumes:
      - /root/xxx/langchain-chatchat/model_data/xinference:/root/.xinference
      - /root/xxx/langchain-chatchat/model_data/cache/huggingface:/root/.cache/huggingface
      - /root/xxx/langchain-chatchat/model_data/cache/modelscope:/root/.cache/modelscope
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    runtime: nvidia
    # 模型源更改为 ModelScope, 默认为 HuggingFace
    environment:
      - XINFERENCE_MODEL_SRC=modelscope
  chatchat:
    image: chatimage/chatchat:0.3.1.3-0f4eb00-20240729
    # image: ccr.ccs.tencentyun.com/chatchat/chatchat:0.3.1.2-2024-0720
    restart: always
    ports: # 不使用 host network 时可打开.
      - "7861:7861"
      - "8501:8501"
    # network_mode: "host"
    # 将本地路径(~/chatchat)挂载到容器默认数据路径($CHATCHAT_ROOT)中
    volumes:
      - /root/xxx/langchain-chatchat/chatchat_data:/root/chatchat_data

根据教程执行到 第五步 5. 启动 chatchat & xinference 服务 发现又报错
image.png

解决如下（写教程的人，估计由于是已经部署好过一次，所以不记得先后顺序了）

  1. 下载数据库初始文件

cd /root/xxx/langchain-chatchat/chatchat_data
wget https://github.com/chatchat-space/Langchain-Chatchat/blob/master/docker/data.tar.gz
tar -xvf data.tar.gz
rm -rf data.tar.gz

6.检查服务启动情况
docker-compose up -d
WARN[0000] /root/docker-compose.yaml: version is obsolete
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
root-chatchat-1 chatimage/chatchat:0.3.1.2-2024-0720 “chatchat -a” chatchat 3 minutes ago Up 3 minutes
root-xinference-1 xprobe/xinference:v0.12.1 “/opt/nvidia/nvidia_…” xinference 3 minutes ago Up 3 minutes
ss -anptl | grep -E ‘(8501|7861|9997)’
LISTEN 0 128 0.0.0.0:9997 0.0.0.0:* users:((“pt_main_thread”,pid=1489804,fd=21))
LISTEN 0 128 0.0.0.0:8501 0.0.0.0:* users:((“python”,pid=1490078,fd=10))
LISTEN 0 128 0.0.0.0:7861 0.0.0.0:* users:((“python”,pid=1490014,fd=9))
如上, 服务均已正常启动, 即可体验使用.

提示: 先登陆 xinference ui http://<your_ip>:9997 启动 llm 和 embedding 后, 再登陆 chatchat ui http://<your_ip>:8501 进行体验.

详细文档:

映射setttings.py

修改docker-compose.yaml将配置文件setttings.py映射出来
先将settings.py拷贝出来,拷贝到/root/xxx/langchain-chatchat目录下

cd /root/xxx/langchain-chatchat

docker cp langchain-chatchat-chatchat-1:/root/Langchain-Chatchat/libs/chatchat-server/chatchat/settings.py .

docker-compose down

新的docker-compose.yaml文件如下

version: '3.9'
services:
  xinference:
    image: xprobe/xinference:v0.12.3
    restart: always
    command: xinference-local -H 0.0.0.0
    ports: # 不使用 host network 时可打开.
     - "9997:9997"
    # network_mode: "host"
    # 将本地路径(~/xinference)挂载到容器路径(/root/.xinference)中,
    # 详情见: https://inference.readthedocs.io/zh-cn/latest/getting_started/using_docker_image.html
    volumes:
      - /root/xxx/langchain-chatchat/model_data/xinference:/root/.xinference
      - /root/xxx/langchain-chatchat/model_data/cache/huggingface:/root/.cache/huggingface
      - /root/xxx/langchain-chatchat/model_data/cache/modelscope:/root/.cache/modelscope
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    runtime: nvidia
    # 模型源更改为 ModelScope, 默认为 HuggingFace
    environment:
      - XINFERENCE_MODEL_SRC=modelscope
  chatchat:
    image: chatimage/chatchat:0.3.1.3-0f4eb00-20240729
    # image: ccr.ccs.tencentyun.com/chatchat/chatchat:0.3.1.2-2024-0720
    restart: always
    ports: # 不使用 host network 时可打开.
      - "7861:7861"
      - "8501:8501"
    # network_mode: "host"
    # 将本地路径(~/chatchat)挂载到容器默认数据路径($CHATCHAT_ROOT)中
    volumes:
      - /root/xxx/langchain-chatchat/chatchat_data:/root/chatchat_data
      - ./settings.py:/root/Langchain-Chatchat/libs/chatchat-server/chatchat/settings.py
networks:
  langchain_chatchat_network:
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 172.16.238.0/24

修改setttings.py

然后修改 settings.py

DEFAULT_LLM_MODEL: str = "xxxxx"
DEFAULT_EMBEDDING_MODEL: str = "bge-large-zh-v1.5"

还有修改如下图，上面的xxxxx对应下图llm_models里面的名称
image.png
有时候后台对应的是chatgpt，但是你不想让用户看到是chatgpt，这里可以起一个你自定义的名字，然后在oneapi那里做一个映射。如下图

image.png
另外还要注意，需要将127.0.0.1修改为对应的IP，其它的127.0.0.1如果有需要使用，也改下。
image.png

再启动

docker-compose up -d

检查服务启动情况

docker-compose up -d

WARN[0000] /root/docker-compose.yaml: version is obsolete NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS root-chatchat-1 chatimage/chatchat:0.3.1.2-2024-0720 “chatchat -a” chatchat 3 minutes ago Up 3 minutes root-xinference-1 xprobe/xinference:v0.12.1 “/opt/nvidia/nvidia_…” xinference 3 minutes ago Up 3 minutes

ss -anptl | grep -E ‘(8501|7861|9997)’

LISTEN 0 128 0.0.0.0:9997 0.0.0.0:* users:((“pt_main_thread”,pid=1489804,fd=21)) LISTEN 0 128 0.0.0.0:8501 0.0.0.0:* users:((“python”,pid=1490078,fd=10)) LISTEN 0 128 0.0.0.0:7861 0.0.0.0:* users:((“python”,pid=1490014,fd=9))

如上, 服务均已正常启动, 即可体验使用.

提示: 先登陆 xinference ui http://:9997 启动 llm 和 embedding 后, 再登陆 chatchat ui http://:8501 进行体验.

详细文档:

Langchain-chatchat 使用请参考: LangChain-Chatchat

Xinference 使用请参考: 欢迎来到 Xinference！

配置向量模型

打开http://192.168.1.xxx:9997/ui/#/launch_model/embedding
image.png

然后点击上图右下方的确认（是一个图标），就可以等待安装即可。

可以查看下安装进度
docker logs -f langchain-chatchat-xinference-1
image.png

使用image.png

3333333_
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Langchain-Chatchat源码
10-18
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with ...
langchain-chatchat代码使用
04-13
langchain-chatchat代码结构思维导图
langchain-chatchat-0.3.0小白保姆部署指南
Panda_Panda博客
06-25 6610
1.从 0.3.0 版本起，Langchain-Chatchat 不再根据用户输入的本地模型路径直接进行模型加载，涉及到的模型种类包括 LLM、Embedding、Reranker 及后续会提供支持的多模态模型等，均改为支持市面常见的各大模型推理框架接入，如。来展示如何在本地用 Xinference 运行大模型,我这里自定义了一个存储日志文件和大模型，embidding模型的路径，如果不自定义一个路径将会下载到默认的一个路径下，这样很容易将我们的系统盘给撑爆，以魔塔社区下载模型为例。
基于AutoDL部署langchain-chatchat-0.3.0
m0_61281610的博客
07-09 1220
当我们关掉服务器之后，再次开机的时候，这时候我们需要在启动项目前先将xinference上的大模型和embidding模型启动起来，再次启动项目，否则项目启动起来会报错。新建第一个终端。
【LLM】-12-部署Langchain-Chatchat-0.3.x版本
宣晨光
07-30 726
从0.3.1开始，模型与项目独立部署，需要借助xinference、oneai、localai等平台独立部署大模型， Langchain-Chat通过接口API调用 1、0.3与0.2的功能对比 功能 0.2.x 0.3.x 模型接入 本地：fastchat 在线：XXXModelWorker 本地：model_provider,支持大部分主流模型加载框架 在线：oneapi 所有模型接入均兼容openai sdk Agent ❌不稳定 ✅针对ChatGLM3和QWen进行优化,Agent能力显著提升
基于LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答
热门推荐
结构之法 算法之道
07-05 9万+
本文则侧重讲解 1 什么是LangChain及langchain的整体组成架构 2 解读langchain-ChatGLM项目的关键源码，不只是把它当做一个工具使用，因为对工具的原理更了解，则对工具的使用更顺畅 3 langchain-ChatGLM项目的升级版langchain-chatchat
基于langchain-chatglm本地知识库得部署
weixin_74229108的博客
07-19 5913
通过知识图谱可以将各个知识点连接起来，可以增强模型问答的推理能力。我们都是知道文字的信息是通过被数字编码后作为矩阵储存在计算机中的，但是随着文字量的增多，矩阵的容量也是几何倍数增长，但是其中数据的密度会因为数字编码的问题，储存密度极低，这极大地浪费了资源。2.如果使用的是text2vec-base模型，因为警告的存在只可以对词汇向量化，不可以对句子向量化，因此需要分词器来对句子进行分词，因此可以考虑更换分词器，目前使用的分词器当时分词的时候，过短的词语会导致分词器分词不成功，可以更换分词器来增强分词效果。
【LangChain系列】2. 一文全览LangChain数据连接模块：从文档加载到向量检索RAG，理论+实战+细节
AAI666666的博客
04-12 1377
本文学习 LangChain 中的 数据连接（Retrieval） 模块。该模块提供文档加载、切分，向量存储、检索等操作的封装。最后，结合RAG基本流程，我们将利用LangChain实现RAG的基本流程。
Langchain 集成 Milvus
engchina的专栏
07-27 3458
Langchain 集成 Milvus
GLM4实践-GLM4智能体的本地化实现及部署
YELLOWAUG的博客
04-03 5628
实现GLM4智能体的本地化部署及调用，本文较长，涉及的技术点也较多
重磅！大模型框架 LangChain 首个稳定版本终于来了！
2301_78285120的博客
01-09 1150
著名的大模型智能体工具，现在有大版本更新了。不知不觉，LangChain 已经问世一年了。作为一个开源框架，LangChain 提供了构建基于大模型的 AI 应用所需的模块和工具，大大降低了 AI 应用开发的门槛，使得任何人都可以基于 GPT-4 等大模型构建自己的创意应用。在过去的一年中，LangChain 自身也一直在进化。刚刚，LangChain 官方宣布，他们的首个稳定版本 ——LangChain v0.1.0 问世了。新版本有以下几个重要特点：可观察性：构建复杂的 LLM 应用是困难的。
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
02-07
在提供的`Langchain-Chatchat_master.zip`文件中，通常包含了项目源码、配置文件、样例数据和使用说明等。开发者可以查看`说明.txt`来了解项目的具体安装步骤和使用方法，以便于在自己的环境中部署和运行这个系统。...
Langchain-Chatchat是一个利用语言链技术构建的聊天机器人项目
06-06
通过使用语言链技术，Langchain-Chatchat可以理解和生成自然语言，从而实现与人类的自然交互。 该项目的实现主要分为以下几个步骤： 数据采集与处理：收集大量的文本数据，并对这些数据进行处理，以用于后续的训练...
langchain-chatchat在window上使用cpu运行Qwen-1-8B-Chat时遇到ERROR: object
04-26
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()，这个问题其实是因为"addmm_impl_cpu_" not implemented for 'Half’这个根本原因导致的，也就是cpu...
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
冯·诺依曼
08-15 5762
Zep 是一个存储、摘要、嵌入、索引和丰富对话式人工智能聊天历史记录的工具，并通过简单、低延迟的API进行访问。[3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/[2] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/[1] LangChain官方网站：https://www.langchain.com/
QT5 FTP 客户端 实现多文件下载 上传
08-01
QT5 FTP 客户端 实现多文件下载 上传
MATLAB车牌识别实现车牌定位仿真系统（可运行）
最新发布
08-01
车牌定位分为以下步骤： 图像预处理：读取图像并对其进行预处理，例如灰度化、降噪和增强等。 车牌区域定位：使用图像处理技术，例如边缘检测、连通区域检测和形态学操作等，找到车牌的大致位置。 车牌区域精确定位：通过进一步的图像处理技术，例如投影、边缘检测和形态学操作等，对车牌区域进行精确定位。 字符分割：将车牌区域中的字符进行分割，形成单独的字符图像。 字符识别：使用字符识别算法，例如模板匹配、神经网络或支持向量机等，对分割的字符进行识别。 本设计非常适合新手学习使用，进阶研究等二次开发。欢迎大家多多下载交流学习研究。
docker安装langchain-chatchat 启动使用cup
04-27
首先，Docker 是一个开源的应用容器引擎，可以帮助用户更加轻松地创建、部署和运行应用程序。而 LangChain-ChatChat 是一款基于 Docker 的聊天机器人。下面是 LangChain-ChatChat 安装和使用的步骤： 1. 安装 Docker 如果您还没有安装 Docker，可以根据您的操作系统下载并安装 Docker。 2. 下载 LangChain-ChatChat 镜像 您可以通过 Docker Hub 下载 LangChain-ChatChat 镜像。打开终端并执行以下命令： ``` docker pull langchain-chatchat ``` 3. 启动 LangChain-ChatChat 容器 执行以下命令启动容器： ``` docker run -it --name chatchat langchain-chatchat ``` 4. 使用 LangChain-ChatChat 容器启动后，您可以在终端中使用 LangChain-ChatChat。输入以下命令开始聊天： ``` python main.py ``` 然后按照提示进行对话即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值