大模型 - Langchain-Chatchat小白本地部署踩坑血泪史

于 2024-06-12 22:29:44 发布
阅读量783 收藏 22
点赞数 14
分类专栏： python LLM 文章标签： langchain LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38800175/article/details/139633283
版权
python 同时被 2 个专栏收录
12 篇文章 0 订阅
订阅专栏
LLM
1 篇文章 0 订阅
订阅专栏

环境介绍

  • windows 11
  • python 3.9.9
  • 显卡 GTX970 4G显存 （可怜巴巴）
  • 内存 24G

一、下载 Langchain-Chatchat

注意：这里先不要执行依赖下载，如果项目是通过 PyCharm 打开，就不要着急下载依赖，跟着往下面走，因为 pip 安装默认不走虚拟环境，如果所有的 python 项目都使用同一个依赖目录，会导致其他项目版本依赖出现问题，这是 pip 安装的一个特新，不像 Java 中 maven 依赖可以管理不同版本的依赖

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

二、PyCharm 打开项目并配置解释器和虚拟环境

第一步：点击右下角，弹出如下内容，选择 Interpreter Settings
在这里插入图片描述
第二步：点击 Add Interpreter
在这里插入图片描述
第三步：配置虚拟环境和解释器
在这里插入图片描述

三、虚拟环境配置好了之后再下载依赖

# 安装全部依赖
pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

四、下载模型

国内下载大模型地址：

4.1 嵌入模型下载 bge-large-zh-v1.5

可以通过 git 的方式进行下载，但是 git 下载太慢了，还是直接通过浏览器下载

第一步：点我直接进入下载页面，选择时间最新的进入
在这里插入图片描述
第二步：进入后，点击模型文件
在这里插入图片描述
第三步： 选择全部文件进行下载
在这里插入图片描述
第四步： 下载完毕后，统一使用目录进行管理

例如我的 LLMs 目录下分不同的模型名称

在这里插入图片描述

4.2 下载大模型 Qwen-1_8B-Chat

为什么我会选择此模型，而不是选择 chatglm3-6b ？
因为我的显存只有 4G，在 model_config.py.example 第 27 行注释说明了情况
如果读者的显存宽裕的情况下，可以选择官方示例的模型进行下载

下载方式和 #4.1 一样，只不过这个模型比嵌入模型大了很多，等待时间比较久

五、初始化配置文件

此时 Qwen-1_8B-Chat 模型应该还在下载中，我们就并行操作，做不依赖大模型的事情

配置文件存放目录：Langchain-Chatchat -> configs 中
根目录 Langchain-Chatchat> 为执行的路径，后面的才是指令

$ Langchain-Chatchat> python copy_config_example.py

执行完毕后，configs 文件夹内多了一些 .py 的文件

在这里插入图片描述
这里就不一一例举文件的作用了，官方给了解答：点我进入配置文件详细介绍

六、初始化本地知识库

本地知识库必须要嵌入模型 bge-large-zh-v1.5 下载完毕才能操作，到这一步应该都下载完成了

6.1 model_config.py 配置

关于嵌入模型的配置，一共有两个地方需要修改

第一步： 非必须做（由于笔者显存有限，把嵌入模型的事情交给 CPU 做，减轻 GPU 压力）

# 把 auto 修改为 cpu
#EMBEDDING_DEVICE = "auto"
EMBEDDING_DEVICE = "cpu"

第二步： 必须做（配置嵌入模型存放的磁盘位置 #4.1 处存放的位置）

备注：这里只是列出改动的地方，而不是需要你删除多余的配置

MODEL_PATH = {
    "embed_model": {
    	# 这里配置 4.1 处存放的位置，我的位置是： E:\\LLMs\\bge-large-zh-v1.5\\
    	# 这里要注意，再 windows 里面用双反斜杠， \b 被视为转义符
    	"bge-large-zh-v1.5": "E:\\LLMs\\bge-large-zh-v1.5\\",
    }
}

6.2 kb_config.py 配置（可选）

该文件主要是配置向量数据库，我使用的是默认的 faiss 数据库，所以对我而言，这个文件没有改动，新手不建议轻易改动这些
如果想使用其他的向量数据库，需要找到 requirements.txt 中对应的依赖下载后才能使用

6.3 初始化本地知识库到向量数据库内

注意执行命令的目录位置：项目根目录 Langchain-Chatchat> 为执行的路径，后面的才是指令

$ Langchain-Chatchat> python init_database.py --recreate-vs

现象描述：
Langchain-Chatchat -> knowledge_base -> samples -> content 内的所有内容向量化后保存到
Langchain-Chatchat -> knowledge_base -> samples -> vector_store -> bge-large-zh-v1.5 数据库内

这个过程也比较漫长，耐心等待即可

七、配置大模型 Qwen-1_8B-Chat

大模型配置需要改动两个文件：

7.1 model_config.py 配置

修改 Langchain-Chatchat 启动的大模型列表

# 1. 配置模型列表
# LLM_MODELS = ["chatglm3-6b", "zhipu-api", "openai-api"]
# 修改上面的内容，改成下这样
# 我有 openai 的 key，可以使用，如果读者没有，就去掉 "openai-api"
LLM_MODELS = ["Qwen-1_8B-Chat", "openai-api"]

# 2. 配置 openai（可选）
# 配置 openai，如果读者没有，则可以跳过这里
ONLINE_LLM_MODEL = {
    "openai-api": {
        "model_name": "gpt-4",
        "api_base_url": "https://api.openai.com/v1",
        "api_key": "sk-ofNUwgIXYXFvCENYEdxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
        "openai_proxy": "",
    },
    ......
}

# 3. 配置大模型本地磁盘存放地址
MODEL_PATH = {
	# 忽略这里，只是给你参照，这里配置的是嵌入模型
	"embed_model": {
		......
	},
	# 这里才是配置大模型的地方
	"llm_model": {
		# 大模型存放地址，windows 要使用 \\ 分割
		"Qwen-1_8B-Chat": "E:\\LLMs\\Qwen-1_8B-Chat\\",
		......
	}
}

7.2 server_config.py 配置

FSCHAT_MODEL_WORKERS = {
    "default": {
    	......
    }
    # 直接复制这块儿内容
    "Qwen-1_8B-Chat": {
        "device": "cuda",
    },
    ......
}

7.3 执行启动 Langchain-Chatchat 服务

注意执行命令的目录位置：项目根目录 Langchain-Chatchat> 为执行的路径，后面的才是指令

$ Langchain-Chatchat> python startup.py -a

八、成功或者失败

8.1 成功（没有经历坎坷的人生是不完整的）

成功后，界面如下，可以进行愉快的聊天了
界面
输出的日志如下：

Loading checkpoint shards:   0%|          | 0/2 [00:00<?, ?it/s]
Loading checkpoint shards:  50%|█████     | 1/2 [00:01<00:01,  1.45s/it]
Loading checkpoint shards: 100%|██████████| 2/2 [00:02<00:00,  1.18s/it]
Loading checkpoint shards: 100%|██████████| 2/2 [00:02<00:00,  1.22s/it]
2024-06-12 21:44:50 | ERROR | stderr | 
2024-06-12 21:44:52 | INFO | model_worker | Register to controller
2024-06-12 21:44:52 | DEBUG | urllib3.connectionpool | Starting new HTTP connection (1): 127.0.0.1:20001
2024-06-12 21:44:52 | DEBUG | urllib3.connectionpool | http://127.0.0.1:20001 "POST /register_worker HTTP/1.1" 200 4
2024-06-12 21:44:52 | DEBUG | asyncio | Using proactor: IocpProactor
2024-06-12 21:44:58,276 - proactor_events.py[line:623] - DEBUG: Using proactor: IocpProactor
INFO:     Started server process [20188]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:7861 (Press CTRL+C to quit)


==============================Langchain-Chatchat Configuration==============================
操作系统：Windows-10-10.0.22631-SP0.
python版本：3.9.9 (tags/v3.9.9:ccb0e6a, Nov 15 2021, 18:08:50) [MSC v.1929 64 bit (AMD64)]
项目版本：v0.2.10
langchain版本：0.0.354. fastchat版本：0.2.35


当前使用的分词器：ChineseRecursiveTextSplitter
当前启动的LLM模型：['Qwen-1_8B-Chat', 'openai-api'] @ cuda
{'device': 'cuda',
 'host': '127.0.0.1',
 'infer_turbo': False,
 'model_path': 'E:\\LLMs\\Qwen-1_8B-Chat',
 'model_path_exists': True,
 'port': 20002}
{"api_base_url": "https://api.openai.com/v1",
 "api_key": "sk-ofNUwgIXYXFvCENYEdxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
 'device': 'auto',
 'host': '127.0.0.1',
 'infer_turbo': False,
 'model_name': 'gpt-4',
 'online_api': True,
 'openai_proxy': '',
 'port': 20002}
当前Embbedings模型： bge-large-zh-v1.5 @ cpu


服务端运行信息：
    OpenAI API Server: http://127.0.0.1:20000/v1
    Chatchat  API  Server: http://127.0.0.1:7861
    Chatchat WEBUI Server: http://127.0.0.1:8501
==============================Langchain-Chatchat Configuration==============================



  You can now view your Streamlit app in your browser.

  URL: http://127.0.0.1:8501

8.2 失败（完整的人生）

8.2.1 Torch not compiled with CUDA enabled 错误

2024-06-12 21:53:34 | ERROR | stderr | Process model_worker - Qwen-1_8B-Chat:
2024-06-12 21:53:34 | ERROR | stderr | Traceback (most recent call last):
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\env\Python\Python39\lib\multiprocessing\process.py", line 315, in _bootstrap
2024-06-12 21:53:34 | ERROR | stderr |     self.run()
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\env\Python\Python39\lib\multiprocessing\process.py", line 108, in run
2024-06-12 21:53:34 | ERROR | stderr |     self._target(*self._args, **self._kwargs)
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\startup.py", line 391, in run_model_worker
2024-06-12 21:53:34 | ERROR | stderr |     app = create_model_worker_app(log_level=log_level, **kwargs)
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\startup.py", line 219, in create_model_worker_app
2024-06-12 21:53:34 | ERROR | stderr |     worker = ModelWorker(
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\fastchat\serve\model_worker.py", line 77, in __init__
2024-06-12 21:53:34 | ERROR | stderr |     self.model, self.tokenizer = load_model(
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\fastchat\model\model_adapter.py", line 277, in load_model
2024-06-12 21:53:34 | ERROR | stderr |     model, tokenizer = adapter.load_compress_model(
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\fastchat\model\model_adapter.py", line 111, in load_compress_model
2024-06-12 21:53:34 | ERROR | stderr |     return load_compress_model(
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\fastchat\model\compression.py", line 199, in load_compress_model
2024-06-12 21:53:34 | ERROR | stderr |     compressed_state_dict[name] = tmp_state_dict[name].to(
2024-06-12 21:53:34 | ERROR | stderr |   File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\torch\cuda\__init__.py", line 289, in _lazy_init
2024-06-12 21:53:34 | ERROR | stderr |     raise AssertionError("Torch not compiled with CUDA enabled")
2024-06-12 21:53:34 | ERROR | stderr | AssertionError: Torch not compiled with CUDA enabled

这是一个非常棘手的问题
错误原因是因为在配置文件 model_config.py 和 server_config.py 中我们都选择大模型运行在 GPU 上，但是由于 windows 系统并没有给我们把显卡硬件资源调用给串起来，导致无法在显卡上执行模型的推理

点击我快速进入到解决教程内

8.2.2 输入一个很大的问题，无法完整返回，并且后端报错如下

提问内容：springboot 启动原理
在这里插入图片描述
图片中显然是没有回答完毕的，查看后端日志如下：

2024-06-12 22:04:58,969 - utils.py[line:38] - ERROR: object of type 'NoneType' has no len()
Traceback (most recent call last):
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\server\utils.py", line 36, in wrap_done
    await fn
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain\chains\base.py", line 385, in acall
    raise e
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain\chains\base.py", line 379, in acall
    await self._acall(inputs, run_manager=run_manager)
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain\chains\llm.py", line 275, in _acall
    response = await self.agenerate([inputs], run_manager=run_manager)
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain\chains\llm.py", line 142, in agenerate
    return await self.llm.agenerate_prompt(
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain_core\language_models\chat_models.py", line 554, in agenerate_prompt
    return await self.agenerate(
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain_core\language_models\chat_models.py", line 514, in agenerate
    raise exceptions[0]
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain_core\language_models\chat_models.py", line 617, in _agenerate_with_cache
    return await self._agenerate(
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain_community\chat_models\openai.py", line 525, in _agenerate
    return await agenerate_from_stream(stream_iter)
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain_core\language_models\chat_models.py", line 87, in agenerate_from_stream
    async for chunk in stream:
  File "D:\dev\wrkspaces\py_workspace\Langchain-Chatchat\.venv\lib\site-packages\langchain_community\chat_models\openai.py", line 496, in _astream
    if len(chunk["choices"]) == 0:
TypeError: object of type 'NoneType' has no len()
2024-06-12 22:04:58,994 - utils.py[line:40] - ERROR: TypeError: Caught exception: object of type 'NoneType' has no len()

这个问题更加离谱，我明明没有使用 openai 但是在 openai.py 文件内报错，进入到 .venv\lib\site-packages\langchain_community\chat_models\openai.py 文件报错的位置修改代码如下：

在这里插入图片描述
重新启动项目后，继续问相同的问题，观察最后一次输出的内容

============================================
ChatCompletionChunk(id=None, choices=None, created=None, model=None, object=None, system_fingerprint=None, text='**NETWORK ERROR DUE TO HIGH TRAFFIC. PLEASE REGENERATE OR REFRESH THIS PAGE.**\n\n(CUDA out of memory. Tried to allocate 2.00 MiB (GPU 0; 4.00 GiB total capacity; 3.49 GiB already allocated; 0 bytes free; 3.54 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF)', error_code=50002)
============================================

根据以上的信息中，描述了错误信息：
text=' **NETWORK ERROR DUE TO HIGH TRAFFIC. PLEASE REGENERATE OR REFRESH THIS PAGE.** \n\n(CUDA out of memory. Tried to allocate 2.00 MiB (GPU 0; 4.00 GiB total capacity; 3.49 GiB already allocated; 0 bytes free; 3.54 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF)
哦，原来是我的显存不足导致的

重启后，紧接着换了一些简单问题，回答还是没什么大问题的
在这里插入图片描述

九、总结

9.1 换一个好点的显卡，就不用这么折磨了

由于我的显卡显存只有 4G，导致出现奇怪的问题，排查这问题就用了很多时间，不过好在我有足够的耐心去解决问题，而不是放弃。发工资买个好显卡 ~~~

9.2 按着一步一步来，总结出思路

刚入门大模型，没有自己的方法论，一路上踩了不少的坑，通过本文也算是将自己的遭遇记录了一次，方便自己以后看也提供给广大入门的同胞避坑

9.3 试试将大模型跑在 CPU 上

后续抽空试试将 Qwen-1_8B-Chat 跑在 CPU 上试试，目前还没试过，不知道能不能行

Zyred
关注
  • 14
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Langchain-Chatchat源码
10-18
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with ...
开源代码基于langchain的大模型本地知识库系统Langchain-ChatChat
最新发布
06-07
【开源代码】基于langchain的大模型本地知识库系统 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 依托于本项目支持的开源 LLM 与 ...
【大模型实践】使用 Langchain-Chatchat 进行本地部署的完整指南
CV转NLP，必将掀翻NLP领域。
01-22 5363
Langchain-Chatchat 是一个基于 ChatGLM 大语言模型与 Langchain 应用框架实现，开源、可离线部署的检索增强生成 (RAG) 大模型的本地知识库问答应用项目。
大模型笔记之-langchain-chatchat升级v0.2.8本地部署测试
JunHowie的个人Blog
12-07 356
langchain-chat v0.2.8更新记录
一起看langchain-chatchat代码 - 不同模型类的引入方法
一起来研究langchain和langchain-chatchat
05-17 1124
了解了langchain-chatchat代码的必备知识之后，我们看代码轻松了许多，从这一期开始，我们正式开始看langchain-chatchat的代码。这一篇我们要讲的是langchain-chatchat是如何找到并实例化模型类的现在我们就能看懂这段代码了。我们看代码的时候可以更细节一些，遇到不明白的函数和流程最好不要囫囵吞枣的绕过去了。可以查查资料，弄明白。对了还要补一小段。下面这种写法会在 pop之后，键"a"就被删掉了。langchain-chatchat特别喜欢用这个写法。
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-27 1万+
​ LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embedding模型m3e等+多种TextSplitter分词器)、安装(镜像部署【AutoDL云平台/Docker镜像】，离线私有部署+支持RTX3090 ，支持FAISS/Milvus/PGVector向量库， 基于LangChain 框架+FastAPI的API调用服务+Streamlit 的WebUI操作
Langchain-Chatchat实践详解
11-09 8712
本质上是在Langchain基础上封装的一层服务，可以对接底层多种离线LLM和在线的LLM（也可以对接自定义的在线LLM）。提供基于知识库聊天功能相关的一系列API。server/model_workers下面添加线上API的具体定义，可以参考目录下其它线上API定义。generate_stream_gate里面定义具体的接口对接代码。server_config.py中 FSCHAT_MODEL_WORKERS下面新增api绑定端口。
搭建 Langchain-Chatchat 详细过程
王大呀呀的博客
01-02 5280
本文参考官网和其他多方教程，将搭建 Langchain-Chatchat 的详细步骤进行了整理，供大家参考。
langchain-chatglm（v0.2.0）使用更新说明-项目更名为Langchain-Chatchat
JunHowie的个人Blog
08-14 4507
基于window10环境本地搭建知识库
Langchain-Chatchat部署总结
v_wus的博客
01-23 2890
注1：server_config.py的FSCHAT_MODEL_WORKERS字典中也增加了相关配置，如有需要也可通过修改FSCHAT_MODEL_WORKERS字典中对应参数实现多卡加载，且需注意server_config.py的配置会覆盖create_model_worker_app 函数的配置。.py的配置会覆盖create_model_worker_app 函数的配置。，但是实际使用时可根据自己的需求进行模型下载。控制使用的显卡的ID，例如 “0,1”;这里是参考官方文档下载的LLM 模型。
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
01-25
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。版本0.2.9版本。 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull ...
langchain-chatchat代码使用
04-13
langchain-chatchat代码结构思维导图
Langchain-Chatchat本地部署
我想问问天的专栏
03-10 2316
虽然使用Chatchat整个过程中的坑还是挺多的，但是至少跑起来了，而且在跑这个项目中遇到了很多自己没有接触过的知识。比如量化模型这个概念，是在优化返回速度的时候才知道可以把模型的精度改小，提高计算速度。现在本地还只运行成功了项目本身支持的几个模型，像界面中的知识库问答，文件对话，搜索引擎问答，自定义agent都还没跑成功，还有挺多东西要去研究和尝试的，还是挺有意思的。我想了想后面可能会针对其他的几个模式也写一些记录。
大模型部署手记（17）7个大模型+Windows+LongChain-ChatChat
张小白
10-17 4216
硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
win10 安装 langchain-chatglm 避坑指南（2023年6月21日v0.1.16版本）
惟忆
06-21 8047
官网看起来安装很简单，网上教程也是，但实际上我耗费了两天时间，查阅了当前网络上所有可查阅的资料，重复「安装-配置-卸载」十几遍，总结出的安装方法。
Langchain-Chatchat-win10本地安装部署成功笔记（CPU）
xqdd的专栏
11-06 1万+
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain。
langchain-chatglm搭建与测试
zfgylbcc的专栏
08-06 1999
LangChain是一个用于构建基于大型语言模型（LLM）的应用程序的库。它为开发者提供了一种便捷的方式，可以将LLM与其他计算或知识源结合起来，从而创造出更加智能和强大的应用程序。LangChain的目标是帮助开发者充分发挥大型语言模型的优势，使其在各种领域，如自然语言处理、问答系统、文本生成等方面得到更广泛的应用。通过LangChain，开发者可以更高效地利用大型语言模型的能力，为用户提供更优质的智能化体验。
Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍
NLP工程化
10-07 860
由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base和经过PPO训练的Chat版本，并提供了Chat版本的4bits量化。
LangChain-Chatchat知识库对话
我想问问天的专栏
03-24 1620
上次我们完成了Chatchat的本地部署，使用了LLM对话的功能。这次我们尝试一下其他的功能，之前总是有报错没有跑通，这次处理了几个问题之后才跑通了知识库对话和文件对话。
langchain-chatchat
09-12
langchain-chatchat是一种人工智能聊天机器人平台，可以提供智能助手和语音交互的功能。它使用自然语言处理和机器学习算法，能够与人类进行对话，并根据用户输入提供相应的回答和建议。 它的核心技术是语音识别和语义理解，它可以将用户的语音输入转化为文字，并分析用户的意图和需求。通过深度学习和大数据分析，它能够不断学习和提高自己的回答和交流能力，达到更高的智能水平。 langchain-chatchat可以在各种场景中应用，比如智能客服、语音助手等。它可以帮助用户解决问题、提供信息、推荐产品等。用户可以通过语音或文字与机器人进行交互，而不必依赖于人类的干预和指导。 此外，langchain-chatchat还具有多语种的能力，可以支持多种语言的交流。这使得它可以适用于不同语言背景的用户，帮助人们进行跨语言交流和理解。 总之，langchain-chatchat是一种智能聊天机器人平台，通过语音识别和语义理解技术，可以与用户进行对话和交流，并帮助解决问题和提供信息。它具有多语种的能力，适用于各种场景，为用户提供方便和便利。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值