探索Together AI：利用LangChain与50+开源模型互动的指南

最新推荐文章于 2024-09-26 17:23:00 发布

stjklkjhgffxw

最新推荐文章于 2024-09-26 17:23:00 发布

阅读量401

点赞数 4

文章标签：人工智能 langchain python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142373877

版权

引言

在当今AI驱动的世界中，访问多种开源模型的能力变得尤为重要。Together AI通过提供一个简便的API接口，使开发者能够轻松地与50多个顶尖开源模型进行交互。这篇文章将详细介绍如何使用LangChain与Together AI进行连接，并提供一些实用的代码示例来帮助你快速上手。

主要内容

安装

在开始之前，你需要安装langchain-together包。可以通过以下命令来完成：

%pip install --upgrade langchain-together

环境准备

为了使用Together AI，你需要一个API密钥。可以在Together AI设置页面获取该密钥。然后，你可以将其作为初始化参数传递，或者设置为环境变量TOGETHER_API_KEY。

使用LangChain与Together AI模型进行交互

查询聊天模型

首先，我们来看一下如何与聊天模型进行交互。你可以从Together AI模型文档中选择合适的模型。

from langchain_together import ChatTogether

# 使用API代理服务提高访问稳定性
chat = ChatTogether(
    model="meta-llama/Llama-3-70b-chat-hf",
    # together_api_key="YOUR_API_KEY",
)

# 流式传输模型响应
for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

查询代码和语言模型

你还可以查询代码模型，例如，用于编程语言的模型：

from langchain_together import Together

# 使用API代理服务提高访问稳定性
llm = Together(
    model="codellama/CodeLlama-70b-Python-hf",
    # together_api_key="..."
)

print(llm.invoke("def bubble_sort(): "))