NVIDIA NIM入门

已于 2025-01-04 11:07:54 修改
阅读量1.4k 收藏 13
点赞数 12
文章标签： 人工智能
于 2025-01-04 01:28:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cezyzhao/article/details/144921012
版权

目录标题

1 NVIDIA NIM是什么

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一套易于使用的预构建容器工具，目的是帮助企业客户在云、数据中心和工作站上安全、可靠地部署高性能的 AI 模型推理。这些预构建的容器支持从开源社区模型到 NVIDIA AI 基础模型，以及定制的 AI 模型的广泛范围。

NIM 可通过单个命令部署，使用标准 API 和几行代码轻松集成到 企业级 AI 应用程序中。基于 Triton 推理服务器、TensorRT、TensorRT-LLM 和 PyTorch 等强大的推理引擎构建，NIM 旨在促进大规模的无缝 AI 推理，确保你可以在任何地方自信地部署 AI 应用。无论是在本地还是在云端，NIM 都是实现大规模加速生成式 AI 推理的更快方式。优势：

性能与规模：

  • 通过低延迟、高吞吐量且可随云扩展的 AI 推理来提高总体拥有成本。
  • 通过开箱即用的对微调模型的支持实现更佳的准确性。

易用性：

  • 借助预先构建且云原生的微服务加快产品上市时间，这些微服务持续维护，以便在 NVIDIA 加速基础设施上提供优化的推理。
  • 为企业开发者提供专为企业环境定制的行业标准 API 和工具安全和可管理性。
  • 通过在您选择的基础设施（本地或云中）上自托管部署最新的 AI 模型，维护生成 式 AI 应用程序和数据的安全性与控制。
  • 具有专用功能分支、严格验证流程和支持 (包括直接联系 NVIDIA AI 专家和定义的 服务水平协议) 的企业级软件。

2 为什么要使用NIM

2.1 模型尺寸暴增带来的问题与挑战

模型尺寸越来越大，从2018年0.1B到现在的Llama3.1 405B。 例如，对于一个有 700 亿参数的大语言模型假设使用半精度或 float16，模型的大小可能达到 130GB。模型规模的增大带来了性能上的不可能三角：准确性高，高吞吐量和低延迟。

而NIM 可以更好的平衡这三者之间的关系。例如：使用Llama 3.1 8B模型， NIM 与直接在 GPU 上部署相比，可实现高达 2.8 倍的更高吞吐量。
模型尺寸

2.2 使用API接入业务层，更便捷的使用方式

通过使用标准化的 API，开发者可以更改少量的代码来尝试不同的 NIM，模型通过API接入业务层来完成的指定任务。让开发者专注于更有意义的工作。
在这里插入图片描述

3 NIM基础

3.1 容器化部署是NIM的基础

使用不同的模型镜像，可以快速的启动容器。
在这里插入图片描述

4 部署流程与实践

4.1 准备：获取API KEY

在本次体验中，我们使用Lama3 NIM。需要提前获取API KEY。

  1. 打开build.nvidia.com登录，获取NVIDIA_API_KEY。

  2. 注意帐号这里要有credits，不然实验notebook运行会报错。
    在这里插入图片描述

如果没有credits，实验运行代码时会提示帐号没有credits。解决办法：换个帐号。
在这里插入图片描述

  1. 搜索并找到模型，点击进入。
    在这里插入图片描述

  2. 获取并保存KEY，实验notebook中需要使用。
    在这里插入图片描述

在这里插入图片描述

4.2 模型调用方式

可以通过Python、LangChain、Node、Shell 和Docker进行调用。
其中Docker可以下载镜像到本地进行部署。
在这里插入图片描述

4.3 课程环境准备

  1. 点击视频下面的start开始
    在这里插入图片描述

  2. 等待10分钟左右，点击LAUNCH
    在这里插入图片描述

  3. 实验完成后记得点击STOP TASK
    在这里插入图片描述

4.4 AI聊天机器人构建的体验

本次体验使用LangChain，内容为 NVIDIA Triton 文档网站，构建 RAG 链。
主要步骤如下：

  1. 从网络爬取NVIDIA Triton 文档，分块数据，并使用 FAISS 生成嵌入，并将嵌入保存到 ./data/nv_embedding 目录的离线向量存储中。
  2. 加载向量存储中的嵌入并使用 NVIDIAEmbeddings 构建 RAG
  3. 构建对话机器人

4.4.1 导入模块

import os
from langchain.chains import ConversationalRetrievalChain, LLMChain
from langchain.chains.conversational_retrieval.prompts import CONDENSE_QUESTION_PROMPT, QA_PROMPT
from langchain.chains.question_answering import load_qa_chain

from langchain.memory import ConversationBufferMemory
from langchain.vectorstores import FAISS
from langchain.text_splitter import RecursiveCharacterTextSplitter

from langchain_nvidia_ai_endpoints import ChatNVIDIA
from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings

from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate

4.4.2 输入API KEY

运行代码，会出现一个提示输入key，将刚才得到的key复制进去。

import getpass

if not os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    nvapi_key = getpass.getpass("Enter your NVIDIA API key: ")
    assert nvapi_key.startswith("nvapi-"), f"{nvapi_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvapi_key

4.4.3 爬虫模块

将网页url中的内容提取出来

import re
from typing import List, Union

import requests
from bs4 import BeautifulSoup

def html_document_loader(url: Union[str, bytes]) -> str:
    """
    Loads the HTML content of a document from a given URL and return it's content.

    Args:
        url: The URL of the document.

    Returns:
        The content of the document.

    Raises:
        Exception: If there is an error while making the HTTP request.

    """
    try:
        response = requests.get(url)
        html_content = response.text
    except Exception as e:
        print(f"Failed to load {url} due to exception {e}")
        return ""

    try:
        # Create a Beautiful Soup object to parse html
        soup = BeautifulSoup(html_content, "html.parser")

        # Remove script and style tags
        for script in soup(["script", "style"]):
            script.extract()

        # Get the plain text from the HTML document
        text = soup.get_text()

        # Remove excess whitespace and newlines
        text = re.sub("\s+", " ", text).strip()

        return text
    except Exception as e:
        print(f"Exception {e} while loading document")
        return ""

4.4.4 索引文档

def index_docs(url: Union[str, bytes], splitter, documents: List[str], dest_embed_dir) -> None:
    """
    Split the document into chunks and create embeddings for the document

    Args:
        url: Source url for the document.
        splitter: Splitter used to split the document
        documents: list of documents whose embeddings needs to be created
        dest_embed_dir: destination directory for embeddings

    Returns:
        None
    """
    embeddings = NVIDIAEmbeddings(model="NV-Embed-QA", truncate="END")

    for document in documents:
        texts = splitter.split_text(document.page_content)

        # metadata to attach to document
        metadatas = [document.metadata]

        # create embeddings and add to vector store
        if os.path.exists(dest_embed_dir):
            update = FAISS.load_local(folder_path=dest_embed_dir, embeddings=embeddings, allow_dangerous_deserialization=True)
            update.add_texts(texts, metadatas=metadatas)
            update.save_local(folder_path=dest_embed_dir)
        else:
            docsearch = FAISS.from_texts(texts, embedding=embeddings, metadatas=metadatas)
            docsearch.save_local(folder_path=dest_embed_dir)

4.4.5 爬取关于triton的网页，生成嵌入并保存

def create_embeddings(embedding_path: str = "./data/nv_embedding"):

    embedding_path = "./data/nv_embedding"
    print(f"Storing embeddings to {embedding_path}")

    # List of web pages containing NVIDIA Triton technical documentation
    urls = [
         "https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/index.html",
         "https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/getting_started/quickstart.html",
         "https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/user_guide/model_repository.html",
         "https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/user_guide/model_analyzer.html",
         "https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/user_guide/architecture.html",
    ]

    documents = []
    for url in urls:
        document = html_document_loader(url)
        documents.append(document)


    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=1000,
        chunk_overlap=0,
        length_function=len,
    )
    texts = text_splitter.create_documents(documents)
    index_docs(url, text_splitter, texts, embedding_path)
    print("Generated embedding successfully")

可以看到生成的嵌入已经保存到了目录下面。
在这里插入图片描述

4.4.6 测试向量搜索

embedding_model = NVIDIAEmbeddings(model="NV-Embed-QA", truncate="END", allow_dangerous_deserialization=True)

embedding_path = "./data/nv_embedding"
docsearch = FAISS.load_local(folder_path=embedding_path, embeddings=embedding_model, allow_dangerous_deserialization=True)
retriever = docsearch.as_retriever()

retriever.invoke("Deploy TensorRT-LLM Engine on Triton Inference Server")

4.4.7 定义模型和对话链

llm = ChatNVIDIA(model='mistralai/mixtral-8x7b-instruct-v0.1')
chat = ChatNVIDIA(model="mistralai/mixtral-8x7b-instruct-v0.1", temperature=0.1, max_tokens=1000, top_p=1.0)

retriever = docsearch.as_retriever()

##Requires question and chat_history
qa_chain = (RunnablePassthrough()
    ## {question, chat_history} -> str
    | CONDENSE_QUESTION_PROMPT | llm | StrOutputParser()
    # | RunnablePassthrough(print)
    ## str -> {question, context}
    | {"question": lambda x: x, "context": retriever}
    # | RunnablePassthrough(print)
    ## {question, context} -> str
    | QA_PROMPT | chat | StrOutputParser()
)

4.4.8 开始对话提问

chat_history = []

query = "What is Triton?"
chat_history += [qa_chain.invoke({"question": query, "chat_history": chat_history})]
chat_history

得到回答
在这里插入图片描述

4.4.9 更多的对话演示请参考课程提供的notebook

5 使用Docker进行本地部署

5.1 拉取运行容器

!export NGC_API_KEY="YOUR API KEY"

!docker login nvcr.io --username $oauthtoken --password "${NGC_API_KEY}"

!export LOCAL_NIM_CACHE=~/.cache/nim
!mkdir -p "$LOCAL_NIM_CACHE"

#拉取运行容器
!docker run -it --rm --gpus all shm-size=16GB -e NGC_API_KEY -v "$LOCAL_NIM_CACHE:/opt/nim/.cache" -u $(id -u) -p 8000:8000 nvcr.io/nim/meta/llama3-70b-instruct:latest

#测试接口
curl -X 'POST' \
'http://0.0.0.0:8000/v1/chat/completions' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
    "model": "meta/llama3-70b-instruct",
    "messages": [{"role":"user", "content":"Write a limerick about the wonders of GPU computing."}],
    "max_tokens": 64
}'

5.2 使用python进行调用

from langchain_nvidia_ai_endpoints import ChatNVIDIA

chat = ChatNVIDIA(base_url="http://0.0.0.0:8000/v1/", model="meta/llama3-70b-instruct", temperature=0.1, max_tokens=1000, top_p=1.0)

其余代码和上一个实验相同。

6 NVIDIA DLI课程的官方链接

快来体验吧
https://learn.nvidia.com/courses/course-detail?course_id=course-v1:DLI+S-FX-23+V1-ZH

NVIDIA NIM 入门课程详解
weixin_43248247的博客
01-05 815
NVIDIA NIM 入门课程详解
手把手教你使用 Nvidia的NIM 微服务进行结构化文本提取
sexy19910923的博客
11-03 1016
此示例展示了如何使用 Vision NIM（VLM、Florence、OCDRNet）和 LLM 创建用于从图像中提取结构化文本。
NVIDIA NIM微洞察
vastgrassland的博客
03-29 3135
1. What：什么是Nvidia NIM‍‍‍‍NIM是英伟达AI的Nvidia Inference Microservices，即英伟达的模型推理微服务。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍基本上，NIM是包含了大模型，并提供推理微服务的容器（Container）。大模型和推理服务经过了针对Nvidia GPU的优化。封装成容器的方式使它可以部署在云端，数据中心、工作站或在笔记本电脑中，在任何支...
NVIDIA NIM：加速多模态RAG应用开发的强大引擎
最新发布
专注于人工智能领域的小何尚
03-14 1087
本技术博客将深入探讨NVIDIA NIM的各个方面，帮助开发者和企业了解如何利用这一强大工具构建高性能的多模态RAG应用。NVIDIA NIM的技术架构和核心组件NIM的部署方法和最佳实践NIM API的使用详解和代码示例多模态RAG应用开发的完整流程NIM与流行框架的集成方法性能优化和扩展策略实际应用案例分析开发最佳实践和未来展望。
NVIDIA NIM 提供优化的推理微服务以大规模部署 AI 模型
专注于人工智能领域的小何尚
03-19 3941
生成式人工智能的采用率显着上升。在 2022 年 OpenAI ChatGPT 推出的推动下，这项新技术在几个月内就积累了超过 1 亿用户，并推动了几乎所有行业的开发活动激增。到 2023 年，开发人员开始使用来自 Meta、Mistral、Stability 等的 API 和开源社区模型进行 POC。进入 2024 年，组织将重点转向全面生产部署，其中涉及将 AI 模型连接到现有企业基础设施、优化系统延迟和吞吐量、日志记录、监控和安全性等。
英伟达NIM入门和进阶（完整记录），实现自己的AIPC。
chiangtetsai的博客
08-18 1120
这部电影于1977年上映，由乔治·哈维执导，且是他的第一部长片电影。环境：windows10，CPU：I7，GPU：RTX4060（未使用），预先安装conda，配置PIP源。月和日正确，年份错误，因为在文本中没有提到是2023年还是2024年，实际上应该是2024年。3、使用模型：ai-phi-3-small-128k-instruct。非常丰富的模型资源，都已经适配到了NIM，包括文本，语音，数字人。完整的记录一下NIM从入门到成功调包的过程。helper function 用于Debug。
NVIDIA NIM 简介
专注于人工智能领域的小何尚
11-13 990
NVIDIA NIM 是一组易于使用的微服务，旨在加速在云、数据中心和工作站中部署生成式 AI 模型。NIM 按模型系列和每个模型分类。例如，用于大型语言模型 (LLM) 的 NVIDIA NIM 将最先进的 LLM 的强大功能带入企业应用程序，提供无与伦比的自然语言处理和理解能力。
几度梦回，周公解梦，学海畅游，《NVIDIA NIM 入门》
01-04
现代AI基础知识、NVIDIA NIM概念解析、AI模型训练与应用、生成式AI在行业中的变革、NIM微服务和AI聊天机器人开发、模型训练关键因素分析、AI模型的复杂性与规模、硬件与软件在机器学习中的角色、数据在训练中的重要...
NVIDIA NIM 开发者指南：入门
专注于人工智能领域的小何尚
11-13 2781
想要了解有关 NIM 的更多信息？，即可免费访问任何基础设施云、数据中心或个人工作站上最多 16 个 GPU 上的自托管 NVIDIA NIM 和微服务。加入免费的 NVIDIA 开发者计划后，您可以随时通过 NVIDIA API 目录访问 NIM。要获得企业级安全性、支持和 API 稳定性，请选择通过我们的免费 90 天 NVIDIA AI Enterprise 试用版使用企业电子邮件地址访问 NIM 的选项。
NVIDIA DLI课程《NVIDIA NIM入门》——学习笔记
m0_46511220的博客
01-05 866
NVIDIA NIM是 NVIDIA AI Enterprise 的一部分，是一套易于使用的预构建容器工具，目的是帮助企业客户在云、数据中心和工作站上安全、可靠地部署高性能的 AI 模型推理。这些预构建的容器支持从开源社区模型到 NVIDIA AI 基础模型，以及定制的 AI 模型的广泛范围。NVIDIA NIM通过容器化的方式，将复杂的生成式 AI 模型部署变得简单高效。● 通过在您选择的基础设施（本地或云中）上自托管部署最新的 AI 模型，维护生成 式 AI 应用程序和数据的安全性与控制。
使用 NVIDIA NIM 构建您的第一个人机协同 AI 代理
专注于人工智能领域的小何尚
12-13 1189
想要了解有关 NIM 的更多信息？，即可免费访问任何基础设施云、数据中心或个人工作站上最多 16 个 GPU 上的自托管 NVIDIA NIM 和微服务。加入免费的 NVIDIA 开发者计划后，您可以随时通过 NVIDIA API 目录访问 NIM。要获得企业级安全性、支持和 API 稳定性，请选择通过我们的免费 90 天 NVIDIA AI Enterprise 试用版使用企业电子邮件地址访问 NIM 的选项。
基于NVIDIA NIM平台—生成属于自己的DIY食谱
酔墨诗欣的博客
10-25 1211
NVIDIA NIM（Nvidia Inference Microservices）平台是NVIDIA推出的一个微服务套件，旨在加速生成式AI模型在云端、数据中心和工作站上的部署和使用。NVIDIA NIM平台通过提供灵活的微服务套件、与Nvidia AI Enterprise的集成以及自托管容器镜像，为开发者提供了一个强大、可扩展且安全的AI推理平台。本文我们利用NVIDIA NIM平台提供的大模型完成一个生成DIY食谱的demo供大家学习。
使用NVIDIA NIM构建AI应用：从集成到部署的全面指南
nseejrukjhad的博客
11-08 556
本文介绍了如何使用NVIDIA的AI模型进行集成和自托管，帮助您更充分地利用NVIDIA提供的资源。LangChain官方文档。
基于NVIDIA NIM平台—生成故事小短文
2401_86243698的博客
10-14 409
NVIDIA NIM™ 是 NVIDIA AI Enterprise 的一部分，为跨云、数据中心和工作站的自托管 GPU 加速推理微服务提供容器，用于预训练和自定义 AI 模型。使用单个命令部署后，NIM 微服务会公开行业标准 API，以便轻松集成到 AI 应用程序、开发框架和工作流程中。NIM 微服务基于 NVIDIA 和社区的预优化推理引擎 (包括 NVIDIA® TensorRT™ 和 TensorRT-LLM) 构建，可自动优化运行时检测到的基础模型和 GPU 系统的每个组合的响应延迟和吞吐量。
小小少年，一起来学习AI吧。———— 最全面的《NVIDIA NIM 入门》学习笔记
rty330371289的博客
01-04 994
当然你完成了NVDIA NIM入门后，你也可以尝试其他有趣的课程，比如《使用卫星图像监测自然灾害风险》、《NVIDIA DLI RAG 智能体入门》、《深度学习新手入门》，这些课程都帮助你通过自己的实验打造自己的ChatGPT，过程虽然不一般但是结果很有趣，从软件开发的角度体验ChatGPT和之前从基础架构看待ChatGPT不一样，换个角度去体验确实有助于全面了解技术本身。最后的最后，现在是AI的时代，快来NVIDIA DLI 入门智能计算吧，大把课程等你来听，大把优秀的老师等你来听。然后一步步执行即可。
测试 NVIDIA NIM部署的 llama-3.2-90b-vision-instruct 大模型图片解析能力
zhangning的专栏
10-14 949
NIM 初体验
英伟达又发大招，NVIDIA NIM引爆AI产业！
程序员小灰的博客
08-02 773
大家好，我是程序员小灰。说起NVIDIA这个名字，大家一定不会陌生。NVIDIA，中文名为英伟达，是全球知名的科技公司。NVIDIA早期专注于图形处理器（GPU）的设计和制造，近年来又成为了全球领先的人工智能公司，其产品和服务体系涵盖了人工智能应用的各个环节。如今，在这个AI的黄金时代，NVIDIA已正式成为全球AI加速计算领域的领导者。（图片来源：Bloomberg/GettyImages）NV...
深入探索NVIDIA NIMs：优化AI推理服务的秘密武器
bhawfgrcbtwny的博客
10-07 510
NVIDIA NIMs是一种预构建的容器，优化以在NVIDIA加速的基础设施上提供最佳性能。它支持来自社区和NVIDIA的多个领域模型，包括聊天、嵌入和重新排名模型。开发者可以通过NIMs在NVIDIA的API目录上测试模型，并通过NVIDIA AI企业许可导出到本地或云上运行，实现对知识产权和AI应用的完全控制。NVIDIA NIMs为AI应用的推理部署提供了一种灵活且高效的途径。通过集成LangChain库，开发者可以快速构建复杂的AI功能。深入了解并体验这些工具的潜力，能为您的项目带来显著提升。
超能智控：NVIDIA NIM驱动的RAG多模态AI，重塑交互边界
wujiangyuse的博客
08-18 1018
大模型以高准确率及强泛化率著称，但因其所需计算资源大、时间长，而设计精简的轻量级模型以其牺牲计算效率交换速度和计算资源需求实现了更广的适用性，适合部署在资源受限的设备，如手机等移动端或嵌入式系统。智能家居：智能家居场景中，对话机器人成为家庭的智能控制中心，通过语音指令或文字交互，用户可以控制家中的各种智能设备，如调整温度、开关灯光、播放音乐或查询天气预报。数据质量和多样性：虽然进行了基本的数据清理，但未明确提及数据的质量评估和多样性增强策略，可能导致模型学习受限，影响回答的广泛性和准确性。
anything llm api
02-13
- **阿里云** 提供了对企业级大语言模型加速解决方案的支持，通过NVIDIA NIM容器化工具简化部署流程[^4]。 - **Google Cloud AI Platform** 支持多种机器学习框架，并允许用户轻松创建自定义预测端点来调用训练好...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值