使用localGPT构建本地定制化问答知识库

 以下文章翻译自locatGPT

介绍

localGPT是一个开源项目,基于本地文库进行检索问答,允许在不泄漏隐私数据的情况下与本机文档进行对话。一切都在本地运行,你可以确信没有数据离开你的电脑。

此项目的灵感来自于privateGPT

特性

  • 最高隐私:您的数据保留在您的计算机上,确保100%的安全。
  • 多功能模型支持:无缝集成各种开源模型,包括HF、GPTQ、GGML和GGUF。
  • 多样化的Embeddings:从一系列开源Embeddings中进行选择。
  • LLM重用:下载后,无需重复下载即可重用LLM。
  • 会话历史:记住你以前的对话(可以上下文会话)。
  • API:LocalGPT有一个API,您可以使用它来构建RAG应用程序。
  • 图形界面:LocalGPT带有两个GUI,一个使用API,另一个是独立的(基于streamlit)。
  • GPU、CPU和MPS支持:开箱即用支持多个平台,使用CUDA、CPU或MPS等与您的数据聊天!

Quick Start

创建环境

使用git下载项目

git clone https://github.com/PromtEngineer/localGPT.git

使用conda用来虚拟环境管理,创建并且激活一个新的虚拟环境。

conda create -n localGPT python=3.10.0
conda activate localGPT

安装依赖

pip install -r requirements.txt

安装 LLAMA-CPP

LocalGPT将LlamaCpp-Python用于GGML(llama-cpp-python <=0.1.76)和GGUF(llama-cpp-python >=0.1.83)模型。

如果要将BLAS或Metal与llama cpp一起使用,需要设置一些参数:

对英伟达GPU的支持,使用cuBLAS

# Example: cuBLAS
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

对Apple Metal (M1/M2)的支持,使用

# Example: METAL
CMAKE_ARGS="-DLLAMA_METAL=on"  FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

更多细节,请参考llama-cpp

引入自己的数据

把你的文件放入SOURCE_DOCUMENTS文件夹,也可以放多个文件夹到SOURCE_DOCUMENTS,localGPT将递归的读取文件。

支持的文件格式

  • md
  • py
  • pdf
  • csv
  • xls
  • xlsx
  • docx
  • doc

引入数据

cuda方式运行

python ingest.py

看到如下信息,则表示成功注入 

cpu方式运行,配置device_type

python ingest.py --device_type cpu

M1/M2方式运行:

python ingest.py --device_type mps

Run

默认cuda运行,cpu和M1/M2可以像ingest.py一样,设置device_type。

python run_localGPT.py

这将加载引入的向量和embedding模型,接收到系统提示Enter a query,就可以和自己的数据对话了。

改变模型(默认使用TheBloke/Llama-2-7b-Chat-GGUF模型),请参考locatGPT

运行图形界面

  • 打开终端,激活使用requirements.txt安装过依赖的python环境。
  • 进入/LOCALGPT文件夹
  • 运行python run_localGPT_API.py
  • 等待加载,直到终端打印INFO:werkzeug:Press CTRL+C to quit
  • 打开第二个终端,并且激活相同的python环境。
  • 进入/LOCALGPT/localGPTUI文件夹。
  • 运行python localGPTUI.py
  • 在浏览器打开http://localhost:5111/

  • 11
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值