定制自己的文档问答机器人

近期ChatGPT很火爆，功能很强大，其具有强大的逻辑推理能力和数据背景。但是如果我们想要使用ChatGPT聊一些它没有训练过的知识，或者我们自己的一些数据时，由于ChatGPT没有学习过这些知识，所以回答结果不准确。

下文就介绍一种基于llama-index和ChatGPT API实现的基于你自己提供的数据来定制私有对话机器人的方式。

探索方法

1、想要定制基于自己专属数据的机器人，首先想到的是fine-tunes微调的方式。用大量的数据对GPT模型进行微调来实现一个可以理解你提供文档的模型。但是，微调需要花费很多money，而且需要一个有实例的大数据集。也不可能在文件有变化时每次都进行微调。更关键的一点是，微调根本不可能让模型 “知道 “文档中的所有信息，而是要教给模型一种新的技能。因此，微调不是一个好办法。

2、将你的私有文本内容作为prompt的上下文对ChatGPT进行提问。但是openai api存在最大长度的限制，ChatGPT 3.5的最大token数为4096，如果超过长度限制，会直接对文档截断，存在上下文丢失的问题。并且api的调用费用和token长度成正比，tokens数太大，则每次调用的成本也会很高。

既然tokens有限制，那么有没有对文本内容进行预处理的工具呢，使不超过token数限制。llama-index就是一种这种工具，借助llama-index可以从文本中只提取出相关部分，然后将其反馈给prompt。

接下来我将给出一个使用llama-index和ChatGPT API基于自己的数据，实现问答聊天机器人的分步教程。

前期准备：

• OpenAI API密钥，可以在https://platform.openai.com/account/api-keys查看。如果还没有申请，可以查阅资料申请OpenAI API的密钥。使用OpenAI API密钥可以与openai提供的各种模型进行交互。

• 一个文档资料数据库。llama-index支持许多不同的数据源，如API、PDF、文档、SQL 、Google Docs等。在本教程中，我们只使用一个简单的文本文件进行演示。

• 本地的Python环境或在线的Google Colab。本教程中使用本地的Python环境演示。

流程：

安装依赖：

pip install openai
pip install llama-index