构建中国人自己的私人GPT

创作不易，请大家多鼓励支持。

在现实生活中，很多人的资料是不愿意公布在互联网上的，但是我们又要使用人工智能的能力帮我们处理文件、做决策、执行命令那怎么办呢？于是我们构建自己或公司的私人GPT变得非常重要。

先看效果

他的原理是把大模型下载到本地，直接和大模型对话，下面是部署的详细步骤。

一、本地部署私人GPT

快速本地安装步骤：
1.        克隆存储库：
git clone 

git clone https://github.com/imartinez/privateGPT

文件目录
 

2.        安装 Python ：

pyenv install 3.11
pyenv local 3.11

(如果报错可以直接安装python3.11)

系统之前已经安装过3.10的旧版本，为了避免干扰需要从系统变量path中删除：C:\Program Files\Python310\Scripts\；C:\Program Files\Python310\

3.        安装依赖：

poetry install --with ui,local

4.        下载嵌入和 LLM 模型：

poetry run python scripts/setup

5.        （可选，在powershell中运行）启用GPU：

$env:CMAKE_ARGS='-DLLAMA_CUBLAS=on'; poetry run pip install --force-reinstall --no-cache-dir llama-cpp-python

6.        运行本地服务器：

set PGPT_PROFILES=local
poetry run python -m private_gpt

7.        导航到 UI：在浏览器中打开 http://localhost:8001/。
 

下一篇讲如何让私人GPT支持中文。

本公司限时提供免费部署GPT的服务，请在下面留言或联系我们。
更多资料：

创建自己的私人GPT详细资料