深入了解DeepInfra：无服务器推理服务与LangChain的结合

深入了解DeepInfra：无服务器推理服务与LangChain的结合

引言

在AI发展的浪潮中，无服务器推理服务正逐渐成为热门解决方案。DeepInfra作为一款卓越的无服务器推理服务，提供访问多种大语言模型（LLMs）和嵌入模型的功能。本文旨在介绍如何使用LangChain与DeepInfra结合，实现聊天模型的开发。

主要内容

设置环境API密钥

在使用DeepInfra之前，确保获取API密钥。登录DeepInfra并获取一个新的令牌。您将获得1小时的免费GPU计算时间来测试不同的模型。

import os
from getpass import getpass

from langchain_community.chat_models import ChatDeepInfra
from langchain_core.messages import HumanMessage

# 使用getpass获取API令牌
DEEPINFRA_API_TOKEN = getpass()

# 设置环境变量
os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

chat = ChatDeepInfra(model="meta-llama/Llama-2-7b-chat-hf")

messages = [</