[在LangChain中集成ChatFriendli：优化你的AI会话应用]-CSDN博客

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142679119

# 在LangChain中集成ChatFriendli：优化你的AI会话应用

## 引言

在现代软件开发中，集成高效的AI工具是提高应用能力的关键。ChatFriendli是一种优化AI应用性能且具成本效益的工具，适合高需求的AI工作负载。本篇文章将引导你如何在聊天应用中集成ChatFriendli，从而实现灵活的会话AI响应，并支持同步和异步调用。

## 主要内容

### 1. 环境设置

在开始之前，请确保你已经安装了`langchain_community`和`friendli-client`。你可以通过以下命令安装：

```bash
pip install -U langchain-community friendli-client

接下来，登录Friendli Suite创建一个个人访问令牌，并将其设置为环境变量FRIENDLI_TOKEN。

import getpass
import os

os.environ["FRIENDLI_TOKEN"] = getpass.getpass("Friendli个人访问令牌: ")

2. 初始化ChatFriendli模型

在LangChain中，你可以选择想要使用的模型来初始化ChatFriendli。默认模型是mixtral-8x7b-instruct-v0-1，但你可以在Friendli文档查看所有可用的模型列表。

from langchain_community.chat_models.friendli import ChatFriendli

chat = ChatFriendli(model="llama-2-13b-chat", max_tokens=100, temperature=0)

3. API参考与使用

ChatFriendli支持所有的ChatModel方法，包括异步API。你还可以使用invoke、batch、generate和stream功能。以下是一个同步调用的示例：

from langchain_core.messages.human import HumanMessage
from langchain_core.messages.system import SystemMessage

system_message = SystemMessage(content="请尽量简短地回答问题。")
human_message = HumanMessage(content="讲个笑话。")
messages = [system_message, human_message]

response = chat.invoke(messages)
print(response.content)