探索EverlyAI的强大功能：使用Langchain访问LLM模型-CSDN博客

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142723999

探索EverlyAI的强大功能：使用Langchain访问LLM模型

引言

在现代机器学习中，云端扩展能力和强大的API访问是推动应用开发的核心。EverlyAI提供了一个灵活的平台，允许开发者在云中运行机器学习模型，并通过API访问多个大规模语言模型（LLM）。这篇文章将带您了解如何使用Langchain库与EverlyAI交互，特别是如何使用ChatEverlyAI类来调用EverlyAI托管的端点。

主要内容

1. 设置环境变量

首先，我们需要设置EVERLYAI_API_KEY环境变量。可以通过交互方式输入API密钥，确保安全。

import os
from getpass import getpass

# 获取API密钥
os.environ["EVERLYAI_API_KEY"] = getpass("Enter your EverlyAI API key: ")

2. 使用Langchain和EverlyAI

Langchain库提供了与EverlyAI进行交互的类和方法。下面的示例展示了如何使用ChatEverlyAI类与LLAMA模型交互。

from langchain_community.chat_models import ChatEverlyAI
from langchain_core.messages import HumanMessage, SystemMessage

# 使用API代理服务提高访问稳定性
chat = ChatEverlyAI(
    model_name="meta-llama/Llama-2-7b-chat-hf",
    temperature=0.3,
    max_tokens=64
)

messages = [
    SystemMessage(content="You are a helpful AI that shares everything you know."),
    HumanMessage(content="Tell me technical facts about yourself.")
]

response = chat(messages)
print(response.content)

3. 支持流式响应

除了标准请求-响应模式，EverlyAI还支持流式响应，可以用于实时数据流处理。

from langchain_community.chat_models import ChatEverlyAI
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_core.messages import HumanMessage, SystemMessage

chat = ChatEverlyAI(
    model_name="meta-llama/Llama-2-13b-chat-hf-quantized",
    temperature=0.3,
    max_tokens=128,
    streaming=True,
    callbacks=[StreamingStdOutCallbackHandler()], # 处理流式输出
)

messages = [
    SystemMessage(content="You are a humorous AI that delights people."),
    HumanMessage(content="Tell me a joke?")
]

chat(messages)