开源项目 private-chatbot-mpt30b-langchain
使用教程
1. 项目介绍
private-chatbot-mpt30b-langchain
是一个开源项目,允许用户在本地计算机上使用 MPT-30B 模型与文档进行私密对话,无需互联网连接。该项目使用量化版本的 MPT-30B 模型,能够在本地环境中处理文档,保障数据隐私安全。支持的文档格式包括 CSV、Word 和 PDF 等。
2. 项目快速启动
2.1 系统要求
- 最低系统规格:32GB 内存和 Python 3.10
2.2 安装步骤
-
安装 Poetry
pip install poetry
-
克隆代码库
git clone https://github.com/mayooear/private-chatbot-mpt30b-langchain.git
-
安装项目依赖
cd private-chatbot-mpt30b-langchain poetry install
-
配置环境变量
cp .env.example .env
-
下载模型(约 19GB)
python download_model.py
或者手动下载模型文件并放入根目录的
models
文件夹中。 -
导入文档 默认情况下,项目包含一个
source_documents
文件夹,用于存储要导入的文档。你可以用自己的文档替换其中的内容。
2.3 运行聊天脚本
python chat.py
3. 应用案例和最佳实践
3.1 应用案例
- 企业内部文档查询:企业可以使用该项目在内部网络中查询和分析文档,无需将数据上传到云端。
- 学术研究:研究人员可以在本地环境中处理敏感数据,进行私密对话和分析。
3.2 最佳实践
- 数据隐私保护:确保所有数据处理都在本地进行,避免数据泄露风险。
- 模型优化:根据实际需求调整模型参数,以提高对话质量和效率。
4. 典型生态项目
- Langchain:该项目使用 Langchain 框架进行文档处理和对话管理。
- MPT-30B:MPT-30B 是一个强大的开源模型,经过 8000 字符上下文长度训练,比原始的 GPT-3 表现更优。
- Hugging Face Hub:用于模型下载和管理。
通过以上步骤,你可以快速启动并使用 private-chatbot-mpt30b-langchain
项目,进行私密文档对话。