【转载】用 ChatGPT+LangChain 部署到服务器，打造专属 GPT知识库

最新推荐文章于 2024-05-09 11:03:23 发布

雪地(>^ω^<)

最新推荐文章于 2024-05-09 11:03:23 发布

阅读量4.7k

点赞数

文章标签： chatgpt 服务器 gpt

原文链接：https://www.bilibili.com/read/cv23216734

版权

原文链接：https://www.bilibili.com/read/cv23216734

本地部署

安装 python，小白自己去找安装教程
pip install llama-index，安装 llama-index 库
pip install langchain，安装 langchain 库
pip install gradio，安装 gradio 库
pip install openai，安装 openai 库
若有报错，那根据报错进行安装相应的库，可能因为网络等原因致安装不成功，或缺少自带的库。
上面的代码有两处是需要修改的，一是修改文件路径，（我这里是在 D 盘创建了一个 ai 的文件夹，下面是该文件夹为例）；二是修改填写你的 open ai 的 api。
将上面的代码，保存为 app.py，放到 ai 文件夹。同时，在 ai 文件下创建一个文件夹，命名为 docs，用于放需要训练的文本。
将你的知识库以 md 格式，或者 txt、pdf 等格式放到 docs 文件夹
一切做完后，用 VS code 等解释器打开 app.py 便可运行。若没有解释器，也可以用 cmd 命令运行，输入 python D:\ai\app.py，进行运行便可。
运行因电脑算力和训练的文本多少不同，训练完成之后，会有一个本地域名，用浏览器打开，便可像 chat gpt 一样，使用自己专属的 gpt。
关闭运行的话是在终端，键入 ctrl+c
注意，每次运行都是对你的知识库进行全部训练，会消耗相应的 api tokens。若不是挂到服务器的话，不建议在 docs 文件中放过多的文件，毕竟电脑总是要关机的。作者：余汉波 https://www.bilibili.com/read/cv23216734 出处：bilibili

服务器部署

跟本地部署一致，但我们需要通过域名去访问，所以我们在创建站点之后，要使用到反向代理，对本地的域名进行反向代理，这里以宝塔为例。

具体请搜索B站视频：《用 ChatGPT+LangChain 部署到服务器，打造专属 GPT知识库》
在这里插入图片描述

代码

from llama_index import SimpleDirectoryReader, LangchainEmbedding, GPTListIndex,GPTSimpleVectorIndex, PromptHelper, LLMPredictor, ServiceContext
from langchain import OpenAI
import gradio as gr
import sys
import os
os.chdir(r'D:\ai')  # 文件路径
os.environ["OPENAI_API_KEY"] = '输入你的chatgpt的api'
def construct_index(directory_path):
    max_input_size = 4096
    num_outputs = 2000
    max_chunk_overlap = 20
    chunk_size_limit = 600
    prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)
    llm_predictor = LLMPredictor(llm=OpenAI(temperature=0.7, model_name="gpt-3.5-turbo", max_tokens=num_outputs))
    documents = SimpleDirectoryReader(directory_path).load_data()
    service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)
    index = GPTSimpleVectorIndex.from_documents(documents,service_context=service_context)
    index.save_to_disk('index.json')
    return index
def chatbot(input_text):
    index = GPTSimpleVectorIndex.load_from_disk('index.json')
    response = index.query(input_text, response_mode="compact")
    return response.response
iface = gr.Interface(fn=chatbot,
                     inputs=gr.inputs.Textbox(lines=7, label="输入您的文本"),
                     outputs="text",
                     title="AI 知识库聊天机器人")
index = construct_index("docs")
iface.launch(share=True)