LangChain + ChatGLM-6B / ChatGLM2-6B 新手踩坑指南！

LangChain-ChatGLM-6B基本简介：

1、项目资源来源链接：

基于本地知识库的 ChatGLM 问答https://github.com/imClumsyPanda/langchain-ChatGLM

2、项目原理：

加载文件 ➝ 读取文本 ➝ 文本分割 ➝ 文本向量化 ➝ 问句向量化 ➝ 在文本向量中匹配出与问句向量最相似的top k个 ➝ 匹配出的文本作为上下文和问题一起添加到prompt中 ➝ 提交给LLM生成回答。

3、硬件需求：

• ChatGLM-6B 模型硬件需求

量化等级	最低 GPU 显存（推理）	最低 GPU 显存（高效参数微调）
FP16（无量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

• Embedding 模型硬件需求

    本项目中默认选用的 Embedding 模型