没独显照样ChatGLM-6B+Langchain知识库

🎈前言

近来刷到不少大模型的文章，趁着五一拿ChatGLM3-6B搞一个知识库练练手，但是没有独显真的是硬伤，一路处处踩雷。总算是搞出来了一个还过得去的知识库，响应速度在能接受的范围内，这里记录一下，也希望能帮助想要尝试大模型的各位避下雷。

📄软硬件配置

硬件

• CPU（13th Inter core i5-13400）：10核16线程
• 内存：32GB
• 显卡：核显
• 固态硬盘：1T

软件

• ChatGLM3-6B（清华出品，号称10B以内最能打的预训练模型）：hf-mirror.com/THUDM/chatg…
• ChatGLM.CPP（类似 llama.cpp 的量化加速推理方案，实现笔记本上实时对话）：github.com/li-plus/cha…
• Langchain-Chatchat（检索增强生成(RAG)大模型知识库）：github.com/chatchat-sp…
• bge-large-zh-v1.5（向量模型）：hf-mirror.com/BAAI/bge-la…
• faiss（向量数据库）：安装Langchain-Chatchat时会安装

模型比较大，下载速度比较慢

🎥效果展示

动图左上角为量化后的ChatGLM3-6B，旁边为Langchain-Chatchat

LLM对话

首次对话速度会慢点，之后对话速度会快很多

知识库问答

Docker配置启动

---

不使用WSL 设置CPU、内存等配置的大小 docker-compose.yml

# 安装docker-compose：pip install --upgrade pip;pip install docker-compose
# 部署命令：docker-compose up -d
# 关闭卸载：docker-compose down
# 描述 Compose 文件的版本信息
version: '3'
# 定义服务，可以多个
services:
  chatglm-cpp: # 服务名称
    image: python:3.11-slim
    container_name:  chatglm-cpp # 容器名称
    # 网络模式：host使用宿主机的ip配置，不针对容器单独分配
    # network_mode: "host"
    ports:
      - 7860:7860
    volumes: # 目录挂载
     - ./chatglm.cpp:/app/chatglm.cpp
    command: tail -f /dev/null

目录

└── project
    ├── chatglm.cpp # chatglm.cpp源码
    │   ├── chatglm_cpp # 安装chatglm.cpp生成的目录
    │   ├── chatglm_cpp-0.3.2-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl # 启动所需要的whl
    │   ├── bge-large-zh-v1.5 # bge-large-zh-v1.5目录
    │   │   ├── pytorch_model.bin # 模型
    │   │   └── ...
    │   ├── Langchain-Chatchat # Langchain-Chatchat源码
    │   │   ├── configs # 配置文件目录
    │   │   └── ...
    │   ├── models # 模型
    │   │   ├── chatglm3-6b # chatglm3-6b目录
    │   │   ├── chatglm3-ggml.bin # 使用chatglm_cpp量化后的模型
    │   │   └── ...
    │   └── ...
    └── docker-compose.yml

启动

docker-compose up -d

💾安装Chatglm.cpp

cd /app/chatglm.cpp

python3 -m pip install -U pip

# 安装需要的组件
python3 -m pip install torch tabulate tqdm transformers accelerate sentencepiece

# 量化模型
python3 /app/chatglm.cpp/chatglm_cpp/convert.py -i /app/chatglm.cpp/models/chatglm3-6b -t q4_0 -o /app/chatglm.cpp/models/chatglm3-ggml.bin
# 安装whl，这个文件可以在github上下载自己需要的
pip install chatglm_cpp-0.3.2-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

# 安装API所需要的组件
pip install 'chatglm-cpp[api]'

# ！！！着重注意，启动需要的pydantic版本为2.7.1。而Langchain需要的pydantic是1.10.11，两个版本是冲突的
pip install pydantic==2.7.1

cd /app/chatglm.cpp/chatglm_cpp
# OPEN API模式启动
MODEL=../models/chatglm3-ggml.bin uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000

安装LangChain

---

cd /app/chatglm.cpp/Langchain-Chatchat

# 安装Langchain-Chatchat
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

# 修改配置文件之前执行这个命令
python copy_config_example.py

修改/app/chatglm.cpp/Langchain-Chatchat/configs/model_config.py中以下内容：
"openai-api": {
"model_name": "gpt-4",
"api_base_url": "http://127.0.0.1:8000/v1",
"api_key": "123",
"openai_proxy": "http://127.0.0.1:8000",
}

 "embed_model": {
   ...
   "bge-large-zh-v1.5": "/app/chatglm.cpp/bge-large-zh-v1.5",
   ...
 }

修改/app/chatglm.cpp/Langchain-Chatchat/configs/server_config.py中的8501端口号为7860

# 降级

pip install pydantic==1.10.11

python startup.py -a --model-name openai-api

🔍初始化FAISS向量库

cd /app/chatglm.cpp/Langchain-Chatchat

python init_database.py --recreate-vs

📖LangChain + Chatglm3-6B + bge-large-zh + FAISS = 知识库

开两个命令行窗口，LangChain-Chatchat通过open api的方式接入Chatglm3-6B

# 窗口1启动Chatglm3-CPP

cd /app/chatglm.cpp/chatglm_cpp

# ！！！着重注意，启动chatglm需要的pydantic版本为2.7.1。而Langchain需要的pydantic是1.10.11，两个版本是冲突的
pip install pydantic==2.7.1

MODEL=../models/chatglm3-ggml.bin uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000

# 窗口2启动LangChain

cd /app/chatglm.cpp/Langchain-Chatchat

# ！！！着重注意，启动chatglm需要的pydantic版本为2.7.1。而Langchain需要的pydantic是1.10.11，两个版本是冲突的
pip install pydantic==1.10.11

python startup.py -a --model-name openai-api

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓