使用LangChain轻松对接Together AI模型：从安装到深入应用

最新推荐文章于 2024-10-04 22:36:54 发布

stjklkjhgffxw

最新推荐文章于 2024-10-04 22:36:54 发布

阅读量264

点赞数 3

文章标签： langchain 人工智能 python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142685107

版权

# 使用LangChain轻松对接Together AI模型：从安装到深入应用

## 引言

在AI技术的不断进步中，Together AI提供了一个便捷的平台，使开发者可以轻松调用50多个开源模型。本文将深入探讨如何使用LangChain与Together AI进行交互，从安装到使用，为您的AI项目注入活力。

## 主要内容

### 安装与环境设置

首先，确保安装并升级`langchain-together`库：

```bash
%pip install --upgrade langchain-together

接下来，您需要获取Together AI的API密钥。您可以在这里找到此密钥。将其作为初始化参数together_api_key传入，或设置为环境变量TOGETHER_API_KEY。

使用LangChain查询Together AI模型

查询聊天模型

使用LangChain与Together AI的聊天模型进行交互非常简单。以下是一个示例代码：

from langchain_together import ChatTogether

# 从多种模型中选择：https://docs.together.ai/docs/inference-models
chat = ChatTogether(
    # together_api_key="YOUR_API_KEY",
    model="meta-llama/Llama-3-70b-chat-hf",
)

# 通过流式传输获取模型的响应
for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

查询代码和语言模型

对于代码相关的任务，也可以使用Together AI的模型：

from langchain_together import Together

llm = Together(
    model="codellama/CodeLlama-70b-Python-hf",
    # together_api_key="..."
)

print(llm.invoke("def bubble_sort(): "))