利用LangChain与Together AI轻松交互：一站式指南

qq_37836323

于 2024-09-18 16:59:47 发布

阅读量165

点赞数 3

文章标签： langchain 人工智能交互 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142338130

版权

# 利用LangChain与Together AI轻松交互：一站式指南

## 引言

在当今快速发展的AI技术中，能够迅速访问并使用多种开源模型是开发者的一大优势。Together AI通过简单的API接口，提供了访问50+开源模型的能力。本文将深入探讨如何利用LangChain与Together AI进行高效交互。

## 主要内容

### 环境准备

在开始使用Together AI之前，您需要获取一个API密钥。可以通过[这个链接](https://api.together.ai/settings/api-keys)获取。这个密钥可以通过初始化参数`together_api_key`传递，或者设置为环境变量`TOGETHER_API_KEY`。

### 安装LangChain-Together库

首先，要确保安装最新版本的LangChain-Together库：

```bash
%pip install --upgrade langchain-together

查询聊天模型

Together AI提供了超过50种的模型选择。我们可以使用ChatTogether类来轻松地查询这些模型。

from langchain_together import ChatTogether

# 使用API代理服务提高访问稳定性
chat = ChatTogether(
    # together_api_key="YOUR_API_KEY",
    model="meta-llama/Llama-3-70b-chat-hf",
)

# 流式返回模型响应
for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

# 如果不需要流式，可以使用invoke方法
# chat.invoke("Tell me fun things to do in NYC")

查询代码和语言模型

除聊天模型外，Together AI还提供代码和语言模型。使用Together类可以方便地调用这些模型。

from langchain_together import Together

# 使用API代理服务提高访问稳定性
llm = Together(
    model="codellama/CodeLlama-70b-Python-hf",
    # together_api_key="..."
)

print(llm.invoke("def bubble_sort(): "))