LangChain-ChatGLM-6B基本简介:
1、项目资源来源链接:
基于本地知识库的 ChatGLM 问答https://github.com/imClumsyPanda/langchain-ChatGLM
2、项目原理:
加载文件 ➝ 读取文本 ➝ 文本分割 ➝ 文本向量化 ➝ 问句向量化 ➝ 在文本向量中匹配出与问句向量最相似的top k个 ➝ 匹配出的文本作为上下文和问题一起添加到prompt中 ➝ 提交给LLM生成回答。
3、硬件需求:
-
ChatGLM-6B 模型硬件需求
量化等级 | 最低 GPU 显存(推理) | 最低 GPU 显存(高效参数微调) |
FP16(无量化) | 13 GB | 14 GB |
INT8 | 8 GB | 9 GB |
INT4 | 6 GB | 7 GB |
-
Embedding 模型硬件需求
本项目中默认选用的 Embedding 模型