深入了解DeepInfra：无服务器推理服务与LangChain的结合

最新推荐文章于 2024-10-02 15:45:03 发布

bhawfgrcbtwny

最新推荐文章于 2024-10-02 15:45:03 发布

阅读量349

点赞数 3

文章标签： serverless langchain java python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142371521

版权

深入了解DeepInfra：无服务器推理服务与LangChain的结合

引言

在AI发展的浪潮中，无服务器推理服务正逐渐成为热门解决方案。DeepInfra作为一款卓越的无服务器推理服务，提供访问多种大语言模型（LLMs）和嵌入模型的功能。本文旨在介绍如何使用LangChain与DeepInfra结合，实现聊天模型的开发。

主要内容

设置环境API密钥

在使用DeepInfra之前，确保获取API密钥。登录DeepInfra并获取一个新的令牌。您将获得1小时的免费GPU计算时间来测试不同的模型。

import os
from getpass import getpass

from langchain_community.chat_models import ChatDeepInfra
from langchain_core.messages import HumanMessage

# 使用getpass获取API令牌
DEEPINFRA_API_TOKEN = getpass()

# 设置环境变量
os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

chat = ChatDeepInfra(model="meta-llama/Llama-2-7b-chat-hf")

messages = [
    HumanMessage(
        content="Translate this sentence from English to French. I love programming."
    )
]
chat.invoke(messages)  # 使用API代理服务提高访问稳定性

异步和流式功能支持

DeepInfra的ChatDeepInfra还支持异步和流式处理，这对于高效处理大量消息非常有用。

from langchain_core.callbacks import StreamingStdOutCallbackHandler

# 异步调用
await chat.agenerate([messages])

chat = ChatDeepInfra(
    streaming=True,
    verbose=True,
    callbacks=[StreamingStdOutCallbackHandler()],
)
chat.invoke(messages)  # 使用API代理服务提高访问稳定性

工具调用

DeepInfra支持工具调用，允许您定义自定义工具并与模型一起使用。

import asyncio
from dotenv import find_dotenv, load_dotenv
from langchain_community.chat_models import ChatDeepInfra
from langchain_core.messages import HumanMessage
from langchain_core.pydantic_v1 import BaseModel
from langchain_core.tools import tool

# 加载环境变量
_ = load_dotenv(find_dotenv())

# 定义工具
@tool
def foo(something):
    pass

# 定义Pydantic类
class Bar(BaseModel):
    pass

model_name = "meta-llama/Meta-Llama-3-70B-Instruct"
llm = ChatDeepInfra(model=model_name)
tools = [foo, Bar]
llm_with_tools = llm.bind_tools(tools)
messages = [
    HumanMessage("Foo and bar, please."),
]

# 调用工具
response = llm_with_tools.invoke(messages)
print(response.tool_calls)

# 异步调用示例
async def call_ainvoke():
    result = await llm_with_tools.ainvoke(messages)
    print(result.tool_calls)

asyncio.run(call_ainvoke())