(25-2)基于本地知识库的自动问答系统（LangChain+ChatGLM+ModelScope/Huggingface部署）: 系统配置+文本拆分

最新推荐文章于 2024-09-27 20:11:55 发布

码农三叔

最新推荐文章于 2024-09-27 20:11:55 发布

阅读量512

点赞数 11

分类专栏：《NLP算法实战》大模型从入门到实战(数据集、训练、RAG、多模态) 文章标签： langchain 人工智能 python NLP ChatGLM ARG 大模型

本文链接：https://blog.csdn.net/asd343442/article/details/139379721

版权

大模型从入门到实战(数据集、训练、RAG、多模态) 同时被 2 个专栏收录

235 篇文章 8 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

《NLP算法实战》

127 篇文章 20 订阅

订阅专栏

在本节的内容中，将详细讲解本项目的具体实现过程，这主要包括文本拆分、加载和使用LLM模型、架构和部署对话系统等模块。

13.3.1 系统配置

在本项目中，文件config.py配置了设备、模型缓存和向量存储路径的信息，并配置了可用的嵌入模型和大型语言模型（LLM）。具体包括根据硬件设置设备（CUDA、MPS、CPU），定义模型缓存和向量存储路径，初始化默认模型，并列出支持的嵌入模型和 LLM 的字典。这些配置使项目能够灵活地管理和使用不同的模型和硬件资源。

import os
import torch

# 设备配置
EMBEDDING_DEVICE = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
LLM_DEVICE = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"

了解本专栏