探索Together AI：用LangChain轻松集成开源模型

stjklkjhgffxw

于 2024-10-04 10:39:07 发布

阅读量83

点赞数 3

文章标签：人工智能 langchain python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142700708

版权

# 探索Together AI：用LangChain轻松集成开源模型

## 引言

在人工智能领域，访问和使用开源模型的能力至关重要。Together AI提供了一个API，让开发者可以通过简单的代码与50多个领先的开源模型交互。在这篇文章中，我们将学习如何使用LangChain来对接Together AI模型，并探讨一些常见的挑战和解决方案。

## 主要内容

### 安装

为了开始使用Together AI，首先需要安装`langchain-together`库。你可以使用以下命令来更新和安装：

```bash
%pip install --upgrade langchain-together

环境设置

要使用Together AI服务，你需要一个API密钥。你可以在这里找到：https://api.together.ai/settings/api-keys。这可以作为初始化参数together_api_key传入，也可以设置为环境变量TOGETHER_API_KEY。

使用示例

查询聊天模型

要与Together AI的聊天模型交互，我们使用ChatTogether类。以下是一个简单的示例：

# 使用API代理服务提高访问稳定性
from langchain_together import ChatTogether

# 选择50多个模型之一：https://docs.together.ai/docs/inference-models
chat = ChatTogether(
    # together_api_key="YOUR_API_KEY",
    model="meta-llama/Llama-3-70b-chat-hf",
)

# 从模型流式获取响应
for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

# 如果不想使用流式传输，可以使用invoke方法
# chat.invoke("Tell me fun things to do in NYC")

查询代码和语言模型

除了聊天模型，Together AI还支持代码和语言模型的查询。以下是一个示例：

# 使用API代理服务提高访问稳定性
from langchain_together import Together

llm = Together(
    model="codellama/CodeLlama-70b-Python-hf",
    # together_api_key="..."
)

print(llm.invoke("def bubble_sort(): "))