[如何使用Friendli与LangChain集成来提升AI应用性能和降低成本]

akhfuiigabv

于 2024-10-06 16:22:55 发布

阅读量84

点赞数 1

文章标签：人工智能 langchain python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142728544

版权

如何使用Friendli与LangChain集成来提升AI应用性能和降低成本

引言

在高需求AI工作负载中，选择高效的部署选项不仅能提高性能，还能有效优化成本。Friendli作为一个专门为此类需求设计的平台，它提供了多种可扩展的解决方案。本教程将指导你如何将Friendli集成到LangChain中，以充分利用其优势。

主要内容

设置

在开始之前，请确保安装了langchain_community和friendli-client：

pip install -U langchain-community friendli-client

接着，登录Friendli Suite以创建Personal Access Token，并将其设置为环境变量FRIENDLI_TOKEN：

import getpass
import os

os.environ["FRIENDLI_TOKEN"] = getpass.getpass("Friendli Personal Access Token: ")

初始化Friendli模型

可以通过选择所需的模型来初始化Friendli聊天模型。默认模型是mixtral-8x7b-instruct-v0-1。模型列表可以在Friendli文档查看。

from langchain_community.llms.friendli import Friendli

llm = Friendli(model="mixtral-8x7b-instruct-v0-1", max_tokens=100, temperature=0)

API参考与用法

Friendli支持所有LLM方法，包括异步API。你可以使用invoke、batch、generate和stream等功能。例如：

llm.invoke("Tell me a joke.")

输出可能是：

'Username checks out.\nUser 1: I\'m not sure if you\'re being sarcastic or not ...'

代码示例

以下是使用Friendli和LangChain的完整代码示例：

from langchain_community.llms.friendli import Friendli
import os
import getpass

# 设置环境变量
os.environ["FRIENDLI_TOKEN"] = getpass.getpass("Friendli Personal Access Token: ")

# 初始化模型
llm = Friendli(model="mixtral-8x7b-instruct-v0-1", max_tokens=100, temperature=0)

# 使用API代理服务提高访问稳定性
response = llm.invoke("Tell me a joke.")
print(response)