扫地的小何尚-CSDN博客

原创什么是DPU

行业标准、高性能、软件可编程多核 CPU高性能网络接口灵活和可编程的加速引擎。

2024-04-15 11:00:47 995

原创 TensorRT中的INT 8 优化

深度学习 (DL) 模型的训练阶段包括学习大量密集的浮点权重矩阵，这导致推理过程中需要进行大量的浮点计算。研究表明，可以通过强制某些权重为零来跳过其中许多计算，而对最终精度的影响很小。与此同时，之前的帖子表明较低的精度（例如 INT8）通常足以在推理过程中获得与 FP32 相似的精度。稀疏性和量化是流行的优化技术，用于解决这些问题，缩短推理时间并减少内存占用。

2024-04-12 09:15:22 461

PyTorch 有一个名为 PyTorch Hub 的模型存储库，它是常见模型的高质量实现的来源。我们可以从那里获得在 ImageNet 上预训练的 ResNet-50 模型。在本教程中，我们介绍了使用 Torch-TensorRT 为 ResNet-50 模型编译 TorchScript 模型的完整过程，并测试了优化对性能的影响。使用 Torch-TensorRT，我们在 NVIDIA V100 GPU 上观察到 FP32 的加速为1.42x，FP16 的加速为5.4x。

2024-04-12 09:11:12 1442

原创大型语言模型有什么用？

大型语言模型识别、总结、翻译、预测、生成文本和其他内容。AI 应用程序正在总结文章、撰写故事和进行长时间对话——而大型语言模型正在承担繁重的工作。大型语言模型或 LLM 是一种深度学习算法，可以根据从海量数据集中获得的知识来识别、总结、翻译、预测和生成文本和其他内容。大型语言模型是 Transformer 模型最成功的应用之一。它们不仅用于教授 AI 人类语言，还用于理解蛋白质、编写软件代码等等。

2024-04-11 11:19:41 1934

原创我的两年创作纪念日

在这两年里, 不知不觉间一共完成了400多篇博客, 其实也不知道哪里来的动力, 我想这慢慢的成为了自己的一种习惯.后来我就想把工作中用到的开发者手册和指南整理翻译, 希望帮到更多的中国的开发者能更快更好的了解最新的AI技术.我的工作呢, 是我司的开发者社区, 目的就是帮助中国的开发者更好地了解GPU和更好的利用GPU开发.我呢, 是做高性能计算和人工智能开发的一个程序员.最开始呢, 就是想记录下工作中的内容.希望继续坚持下去, 希望看到我的博客能帮助更多的朋友。

2024-04-11 11:14:51 311

原创什么是图神经网络？

图神经网络将深度学习的预测能力应用于丰富的数据结构，这些数据结构将对象及其关系描述为图中由线连接的点。在 GNN 中，数据点称为节点，它们由线（称为边）连接，元素以数学方式表示，因此机器学习算法可以在节点、边或整个图的级别做出有用的预测。

2024-04-10 09:29:34 893

原创多模态检索增强生成的简单介绍

如果(RAG) 应用程序可以处理多种数据类型（表格、图形、图表和图表）而不仅仅是文本，那么它的实用性就会呈指数级增长。这需要一个能够通过连贯地解释文本、视觉和其他形式的信息来理解并生成响应的框架。在这篇文章中，我们讨论了应对多种模式和方法来构建多模式 RAG 管道的挑战。为了使讨论简洁，我们只关注两种模式：图像和文本。

2024-04-10 09:28:13 932

原创多模态检索增强生成的简单介绍

如果(RAG) 应用程序可以处理多种数据类型（表格、图形、图表和图表）而不仅仅是文本，那么它的实用性就会呈指数级增长。这需要一个能够通过连贯地解释文本、视觉和其他形式的信息来理解并生成响应的框架。在这篇文章中，我们讨论了应对多种模式和方法来构建多模式 RAG 管道的挑战。为了使讨论简洁，我们只关注两种模式：图像和文本。

2024-04-09 08:40:54 818

原创 NVIDIA NIM 提供优化的推理微服务以大规模部署 AI 模型

生成式人工智能的采用率显着上升。在 2022 年 OpenAI ChatGPT 推出的推动下，这项新技术在几个月内就积累了超过 1 亿用户，并推动了几乎所有行业的开发活动激增。到 2023 年，开发人员开始使用来自 Meta、Mistral、Stability 等的 API 和开源社区模型进行 POC。进入 2024 年，组织将重点转向全面生产部署，其中涉及将 AI 模型连接到现有企业基础设施、优化系统延迟和吞吐量、日志记录、监控和安全性等。

2024-04-09 08:39:19 1354

原创为什么数据增强很重要

深度学习模型需要数百 GB 的数据才能很好地概括未见过的样本。数据扩充有助于增加数据集中示例的可变性。当数据增强的选择依赖于设置模型训练的工程师的领域知识、技能和直觉时，传统的数据增强方法可以追溯到统计学习。出现了自动增强以减少对手动数据预处理的依赖。它结合了应用自动调整和根据概率分布随机选择增强的想法。事实证明，使用自动数据增强方法（例如 AutoAugment 和 RandAugment）可以通过使模型在训练中看到的样本多样化来提高模型的准确性。

2024-04-08 08:30:00 1012

原创什么是量子计算？

量子计算是一种进行并行计算的复杂方法，它使用支配亚原子粒子的物理学来取代当今计算机中更简单的晶体管。量子计算机使用量子位进行计算，计算单元可以是开、关或任何介于两者之间的值，而不是传统计算机中开或关、一或零的位。量子位处于中间状态的能力——称为叠加——为计算方程增加了强大的能力，使量子计算机在某些数学方面更胜一筹。

2024-04-08 08:30:00 1615 1

原创 NVIDIA GB200 提供万亿参数 LLM 训练和实时推理

回顾一下，我们回顾了 GB200 NVL72 机架规模设计，特别了解了其在单个 NVIDIA NVLink 域上连接 72 个 Blackwell GPU 的独特功能。这减少了在传统网络上扩展时所经历的通信开销。因此，可以对 1.8T 参数 MoE LLM 进行实时推理，并且该模型的训练速度提高了 4 倍。72 个 NVLink 连接的 Blackwell GPU 和 30 TB 统一内存在 130 TB/s 计算结构上运行，在单个机架中创建了 exaFLOP AI 超级计算机。

2024-04-07 08:50:36 965

原创 # 使用 NVIDIA TensorRT-LLM 调整和部署 LoRA & LLM

LoRA是一种微调方法，它将低秩矩阵引入到LLM架构的每一层中，并且仅训练这些矩阵，同时保持原始LLM权重冻结。它是 NVIDIA NeMo 支持的 LLM 定制工具之一。LLM 功能强大，但通常需要定制，尤其是在用于企业或特定领域的用例时。有许多调整选项，从简单的提示工程到监督微调 (SFT)。调整选项的选择通常基于所需数据集的大小（即时工程的最小值，SFT 的最大值）和计算可用性。LoRA 调优是一种称为参数高效微调 (PEFT) 的调优系列。这些技术是一种中间方法。

2024-04-07 08:48:04 1348

原创利用Lora调整和部署 LLM

LoRA是一种微调方法，它将低秩矩阵引入到LLM架构的每一层中，并且仅训练这些矩阵，同时保持原始LLM权重冻结。它是 NVIDIA NeMo 支持的 LLM 定制工具之一。LLM 功能强大，但通常需要定制，尤其是在用于企业或特定领域的用例时。有许多调整选项，从简单的提示工程到监督微调 (SFT)。调整选项的选择通常基于所需数据集的大小（即时工程的最小值，SFT 的最大值）和计算可用性。LoRA 调优是一种称为参数高效微调 (PEFT) 的调优系列。这些技术是一种中间方法。

2024-04-04 09:11:52 1905

原创 NVIDIA CUDA Python编程框架--Warp开发文档第七章: 调试

内核缓存有 gen 和 bin 文件夹，分别包含生成的 C++/CUDA 代码和编译的二进制文件。对于复杂的应用程序，可能很难理解导致错误的操作顺序。如果遇到错误，它将引发异常，这通常有助于缩小有问题的内核范围。通常，最好的调试方法之一是简单地打印内核中的值。此设置可确保正确生成行号和调试符号。启动 Python 进程后，应附加调试器，并将断点插入到生成的代码中。Warp 将在调试构建配置中执行边界检查，以确保所有数组访问都位于定义的形状内。，了解如何调试在 CPU 上运行的 Warp 内核代码的示例。

2024-04-04 08:30:17 394

原创 NVIDIA CUDA Python编程框架--Warp开发文档第六章: 互操作

Warp 可以通过标准接口协议与其他基于 Python 的框架（例如 NumPy）进行互操作。

2024-04-04 08:24:27 715

原创 NVIDIA CUDA Python编程框架--Warp开发文档第五章: 通用函数

Warp 支持编写通用内核和函数，它们充当可以使用不同具体类型实例化的模板。这使您可以编写一次代码并以多种数据类型重用它。

2024-04-03 10:29:06 409 1

原创 NVIDIA CUDA Python编程框架--Warp开发文档第四章: 并发

在使用多个流的程序中，这比 wp.synchronize_device() 提供了对同步行为更细粒度的控制，wp.synchronize_device() 会同步设备上的所有流。问题是内核是在流 s 上启动的，这与用于创建数组 a 的流不同。该数组是在设备 cuda:0 的当前流上分配和初始化的，这意味着当流 s 开始执行使用该数组的内核时，该数组可能尚未准备好。事件可用于同步同一设备甚至不同 CUDA 设备上的流，因此您可以编排完全在可用 GPU 上执行的非常复杂的多流和多设备工作负载。

2024-04-03 10:19:01 409

原创 NVIDIA CUDA Python编程框架--Warp开发文档第三章: Allocators

Warp 0.14.0 添加了对 CUDA 数组的流排序内存池分配器的支持。从 Warp 0.15.0 开始，这些分配器在所有支持它们的 CUDA 设备上默认启用。“流顺序内存池分配器”很拗口，所以让我们一次一点地解开它。上面的每个调用都会分配一块足够大的设备内存来容纳数组，并可以选择使用指定的值初始化内容。wp.empty() 是唯一一个不以任何方式初始化内容的函数，它只是分配内存。内存池分配器从更大的保留内存池中获取一块内存，这通常比向操作系统请求全新的存储块要快。

2024-04-02 16:46:50 370

原创 NVIDIA CUDA Python编程框架--Warp开发文档第二章: 设备

Warp 旨在与任意 CUDA 上下文配合使用，因此它可以轻松集成到不同的工作流程中。基于 CUDA Runtime API 构建的应用程序针对每个设备的主要上下文。运行时 API 在幕后隐藏了 CUDA 上下文管理。在 Warp 中，设备“cuda:i”代表设备 i 的主要上下文，它与 CUDA 运行时 API 一致。基于 CUDA 驱动程序 API 构建的应用程序直接使用 CUDA 上下文，并且可以在任何设备上创建自定义 CUDA 上下文。

2024-04-02 10:44:58 762

原创 NVIDIA CUDA Python编程框架--Warp开发文档第一章: Basics

由于 Warp 内核被编译为本机 C++/CUDA 代码，因此所有函数输入参数都必须是静态类型的。这将自动与 GPU 同步，以确保所有未完成的工作已完成，并将数组复制回 CPU 内存，并在其中传递给 NumPy。默认情况下，从外部数据（例如：NumPy、列表、元组）初始化的 Warp 数组将为指定设备创建数据副本到新内存。属于 Python 模块的所有内核都会在运行时编译为动态库和 PTX，然后在应用程序重新启动之间缓存结果，以实现快速启动。用户函数可以在同一模块内的内核中自由调用，并接受数组作为输入。

2024-04-01 16:21:23 1066 1

原创 NVIDIA CUDA Python编程框架--Warp开发文档

Warp 是一个用于编写高性能模拟和图形代码的 Python 框架。Warp 采用常规 Python 函数，JIT 将它们编译为可以在 CPU 或 GPU 上运行的高效内核代码。Warp 专为空间计算而设计，并附带一组丰富的原语，可以轻松编写物理模拟、感知、机器人和几何处理程序。此外，Warp 内核是可微分的，可以用作 PyTorch 和 JAX 等框架的机器学习管道的一部分。

2024-04-01 16:10:41 1402

原创什么是图神经网络？

图神经网络将深度学习的预测能力应用于丰富的数据结构，这些数据结构将对象及其关系描述为图中由线连接的点。在 GNN 中，数据点称为节点，它们由线（称为边）连接，元素以数学方式表示，因此机器学习算法可以在节点、边或整个图的级别做出有用的预测。

2024-03-29 09:17:57 843 2

原创什么是量子计算？

量子计算是一种进行并行计算的复杂方法，它使用支配亚原子粒子的物理学来取代当今计算机中更简单的晶体管。量子计算机使用量子位进行计算，计算单元可以是开、关或任何介于两者之间的值，而不是传统计算机中开或关、一或零的位。量子位处于中间状态的能力——称为叠加——为计算方程增加了强大的能力，使量子计算机在某些数学方面更胜一筹。

2024-03-29 09:16:50 831

原创高效 CUDA 调试：将 NVIDIA Compute Sanitizer 与 NVIDIA 工具扩展结合使用并创建自定义工具

是一款功能强大的工具，可以节省您的时间和精力，同时提高 CUDA 应用程序的可靠性和性能。在 CUDA 环境中调试代码既具有挑战性又耗时，尤其是在处理数千个线程时。计算消毒剂可以提供帮助！在本系列的第一篇文章《》中，我们讨论了如何开始使用一些 Compute Sanitizer 工具来在调试代码时检查内存泄漏和竞争条件。在第二篇文章《》中，我们探索了用于检查内存初始化和线程同步的工具。

2024-03-28 17:57:23 1592 1

原创 NVIDIA H200 创下 MLPerf LLM 最新推理记录

生成式人工智能正在解锁新的计算应用程序，通过持续的模型创新来极大地增强人类的能力。生成式 AI 模型（包括大型语言模型 (LLM)）用于制作营销文案、编写计算机代码、渲染详细图像、创作音乐、生成视频等。最新模型所需的计算量是巨大的，并且随着新模型的发明而不断增长。生成式人工智能推理的计算强度要求芯片、系统和软件都具有卓越的性能。MLPerf Inference 是一个基准套件，可衡量多个流行深度学习用例的推理性能。

2024-03-28 17:45:12 1679

原创自动驾驶L0到L5的区别

具有某些自主功能的汽车已经出现：现在就来了解接下来会发生什么。自动驾驶汽车不再是科幻小说。今天，您已经可以购买一辆能够在高速公路和平行停车场的高峰时段自动驾驶的汽车。但是，要一辆能做司机的车，还得再等几年。“无人驾驶”革命正在分阶段展开，就像第一批汽车从缓慢的蒸汽动力装置发展到汽油动力汽车，再到现在的全电动汽车。从装有已经在加利福尼亚州高速公路上漫游的服务器机架的原型到可以开出停车场的车辆，实现飞跃的关键是：在更小的空间内投入更多的计算能力。

2024-03-27 09:19:17 871 1

原创 TensorRT的两种INT8量化方式: QTA, PTQ

深度学习 (DL) 模型的训练阶段包括学习大量密集的浮点权重矩阵，这导致推理过程中需要进行大量的浮点计算。研究表明，可以通过强制某些权重为零来跳过其中许多计算，而对最终精度的影响很小。与此同时，之前的帖子表明较低的精度（例如 INT8）通常足以在推理过程中获得与 FP32 相似的精度。稀疏性和量化是流行的优化技术，用于解决这些问题，缩短推理时间并减少内存占用。

2024-03-27 09:17:23 1684

原创 NVIDIA 首席执行官对里程碑式 AI 论文背后的研究人员说：“你们改变了世界”

在 GTC 的 900 多场会议中，最受欢迎的是由 NVIDIA 创始人兼首席执行官黄仁勋与传奇研究论文的七位作者主持的对话，该论文介绍了恰当命名的 Transformer——一种后来改变了深度学习的神经网络架构景观并启用当今的生成式人工智能时代。“我们今天享受的一切都可以追溯到那一刻，”黄仁勋对挤满了数百名与会者的房间说道，他们听到他与《》的作者们交谈。研究界的杰出人物首次同台，反思了他们原创论文的形成因素，该论文自首次发表并在 NeurIPS AI 会议上发表以来已被引用超过 100,000 次。

2024-03-26 11:16:47 924

原创 NVIDIA 宣布推出适用于人形机器人的 GR00T 项目基础模型和主要 Isaac 机器人平台更新

Isaac 机器人平台现为开发人员提供新的机器人训练模拟器、Jetson Thor 机器人计算机、生成式 AI 基础模型以及 CUDA 加速感知和操作库GTC — NVIDIA 今天宣布推出 GR00T 项目，这是一个用于人形机器人的通用基础模型，旨在进一步推动机器人技术和具体人工智能领域的突破。

2024-03-26 11:09:26 852 1

原创多模态检索增强生成的简单介绍

如果(RAG) 应用程序可以处理多种数据类型（表格、图形、图表和图表）而不仅仅是文本，那么它的实用性就会呈指数级增长。这需要一个能够通过连贯地解释文本、视觉和其他形式的信息来理解并生成响应的框架。在这篇文章中，我们讨论了应对多种模式和方法来构建多模式 RAG 管道的挑战。为了使讨论简洁，我们只关注两种模式：图像和文本。

2024-03-22 10:20:15 1614 3

原创加速您的 AI 开发：NVIDIA AI Workbench 正式发布

NVIDIA AI Workbench 是一款面向 AI 和 ML 开发人员的工具包，现已普遍提供。它具有自动化功能，可以消除新手开发人员的障碍并提高专家的工作效率。无论技能水平如何，开发人员都可以体验快速可靠的 GPU 环境设置以及跨异构平台工作、管理和协作的自由。购买 NVIDIA AI Enterprise 许可证的客户也可以获得企业支持。

2024-03-22 10:04:47 811

原创 NVIDIA Edify 为视觉内容提供商解锁 3D 生成 AI 和新图像控件

Shutterstock 3D 一代进入抢先体验阶段；Getty Images 为企业推出定制微调；Adobe 将为 Firefly 和 Creative Cloud 创作者带来 3D 生成人工智能技术；Be.Live、Bria 和 Cuebric 选择 NVIDIA Picasso AI Foundry 进行推理。NVIDIA Edify 是一种用于视觉生成 AI 的多模式架构，正在进入一个新的维度。

2024-03-20 20:17:25 1274 1

原创 NVIDIA最新 Blackwell架构简介

在AI和大型语言模型（LLMs）迅速发展的领域中，追求实时性能和可扩展性至关重要。从医疗保健到汽车行业，组织正深入探索生成性AI和加速计算解决方案的领域。对生成性AI解决方案的需求激增，促使企业需要适应不断增长的模型规模和复杂性。请进入NVIDIA Blackwell GPU架构，这是世界上最大GPU，专为处理数据中心规模的生成性AI工作流程而设计，其能效是前一代NVIDIA Hopper GPU的25倍。

2024-03-20 10:21:02 2590 1

原创 NVIDIA NIM 提供优化的推理微服务以大规模部署 AI 模型

生成式人工智能的采用率显着上升。在 2022 年 OpenAI ChatGPT 推出的推动下，这项新技术在几个月内就积累了超过 1 亿用户，并推动了几乎所有行业的开发活动激增。到 2023 年，开发人员开始使用来自 Meta、Mistral、Stability 等的 API 和开源社区模型进行 POC。进入 2024 年，组织将重点转向全面生产部署，其中涉及将 AI 模型连接到现有企业基础设施、优化系统延迟和吞吐量、日志记录、监控和安全性等。

2024-03-19 09:43:46 3716 4

原创 NVIDIA GB200 提供万亿参数 LLM 训练和实时推理

回顾一下，我们回顾了 GB200 NVL72 机架规模设计，特别了解了其在单个 NVIDIA NVLink 域上连接 72 个 Blackwell GPU 的独特功能。这减少了在传统网络上扩展时所经历的通信开销。因此，可以对 1.8T 参数 MoE LLM 进行实时推理，并且该模型的训练速度提高了 4 倍。72 个 NVLink 连接的 Blackwell GPU 和 30 TB 统一内存在 130 TB/s 计算结构上运行，在单个机架中创建了 exaFLOP AI 超级计算机。

2024-03-19 09:26:28 1646

原创使用联邦学习以增强 LLM 性能

进一步的微调使这些模型能够适应和专门针对特定领域和任务，使它们在提供特定于领域和任务的结果时更加有效和准确。NVIDIA FLARE 和 NVIDIA NeMo 通过流行的微调方案（包括使用 FL 的 PEFT 和 SFT）促进 LLM 的轻松、可扩展的适应。数据是模型性能的核心。如下图所示，使用 PEFT，基础 LLM 的参数在训练和评估期间被冻结并保持固定，同时注入额外的参数以进行定制。然而，他们可以使用 FL 进行协作，并由于有效使用更大的数据集而获得性能更好的模型，但不会失去隐私和数据治理。

2024-03-18 10:19:54 1038 1

利用SSD网络进行车牌检测模型训练

Pytorch 1.11 Jetpack 5.0 python 3.8

第六届Sky Hackathon知识图谱

人脸口罩检测(含运行代码+数据集)

空空如也