探索SambaNova的Sambaverse和SambaStudio：使用LangChain与开源模型交互

tt_jishu

于 2024-10-06 20:04:56 发布

阅读量129

点赞数 1

文章标签： langchain 交互 microsoft python

本文链接：https://blog.csdn.net/tt_jishu/article/details/142731203

版权

## 引言

在人工智能领域，开源模型的使用正变得越来越普遍。这些模型不仅提供了高性能的推理能力，还能通过定制满足特定的业务需求。SambaNova的Sambaverse和SambaStudio是两个强大的平台，允许用户运行和管理开源模型。本篇文章将介绍如何使用LangChain与SambaNova的模型进行交互，并提供实用的代码示例。

## 主要内容

### Sambaverse

Sambaverse支持与多个开源模型的交互，用户可以通过其界面查看并使用可用的模型。需要注意的是，Sambaverse的免费服务在性能上是有限制的，企业用户可以联系SambaNova以获得无性能限制的使用体验。要使用Sambaverse模型，需先在[sambaverse.sambanova.ai](https://sambaverse.sambanova.ai)创建账户并获取API密钥。

#### 安装和设置

要使用流预测功能，需要安装`sseclient-py`包：

```bash
%pip install --quiet sseclient-py==1.8.0

然后注册您的API密钥：

import os

sambaverse_api_key = "<Your sambaverse API key>"
os.environ["SAMBAVERSE_API_KEY"] = sambaverse_api_key

使用LangChain调用Sambaverse模型

以下是一个使用LangChain调用Sambaverse模型的示例：

from langchain_community.llms.sambanova import Sambaverse

llm = Sambaverse(
    sambaverse_model_name="Meta/llama-2-7b-chat-hf",
    streaming=False,
    model_kwargs={
        "do_sample": True,
        "max_tokens_to_generate": 1000,
        "temperature": 0.01,
        "select_expert": "llama-2-7b-chat-hf",
        "process_prompt": False,
    },
)

print(llm.invoke("Why should I use open source models?"))

SambaStudio

SambaStudio允许用户训练、批量推理和部署经过微调的模型。要在SambaStudio中部署模型，需要获取SambaStudio环境，详情可访问sambanova.ai/products/enterprise-ai-platform-sambanova-suite。

环境变量设置

import os

sambastudio_base_url = "<Your SambaStudio environment URL>"
os.environ["SAMBASTUDIO_BASE_URL"] = sambastudio_base_url
sambastudio_api_key = "<Your SambaStudio endpoint API key>"
os.environ["SAMBASTUDIO_API_KEY"] = sambastudio_api_key

使用LangChain调用SambaStudio模型

from langchain_community.llms.sambanova import SambaStudio

llm = SambaStudio(
    streaming=False,
    model_kwargs={
        "do_sample": True,
        "max_tokens_to_generate": 1000,
        "temperature": 0.01,
    },
)

print(llm.invoke("Why should I use open source models?"))