NPU 学习专栏
NPU 学习专栏
主公CodingCos
竹杖芒鞋轻胜马,谁怕?一蓑烟雨任平生
展开
-
【NPU 系列专栏 4 -- 高带宽内存 HBM3 详细介绍】
高带宽内存(High Bandwidth Memory, HBM) 是一种用于高性能计算(HPC)和图形处理的高带宽、低功耗内存标准。HBM3 是 HBM 系列的最新一代,经过进一步优化,提供更高的性能和更低的功耗,是当前 GPU 和高性能计算系统中的关键技术。HBM3 的主要有以下特点。原创 2024-07-25 21:56:51 · 399 阅读 · 0 评论 -
【NPU 系列专栏 3.1 -- - NVIDIA 的 Orin 和 Altan 和 Thor 区别】
2020年前后,英伟达分别发布了新一代面向机器人和自动驾驶领域的Orin芯片和计算平台。这全新的SoC采用CPU内核和英伟达下一代GPU架构,Orin SoC包含了高达170亿晶体管,几乎是Xavier SoC的两倍,搭载了12个ARM Hercules内核,并集成了NVIDIA下一代Ampere架构的GPU,提供了惊人的性能,接近Xavier SoC的7倍。Orin SoC采用先进的7nm制程工艺,功耗水平出色,在200TOPS的算力下,TDP仅为50W。原创 2024-07-25 19:41:35 · 334 阅读 · 0 评论 -
【NPU 系列专栏 3 -- NVIDIA 的 H100 和 H200 的算力介绍】
与 H100 相比,H200 的内存更大(141GB),带宽更高(4.8 TB/s),分别约为 H100 的 1.8 倍和 1.4 倍。Llama 测试的基准测试证明了这一优势,即使在与 H100 相同的功率水平 (700W TDP) 下,H200 也能实现高达 28% 的提升。这些比较凸显了 H200 GPU 相对于 H100 所取得的技术进步和性能增强,特别是在通过更大的内存容量、更高的内存带宽和改进的热管理来处理像 Llama 2 70B 这样的生成式 AI 推理工作负载的需求方面。原创 2024-07-25 17:44:00 · 491 阅读 · 0 评论 -
【NPU 系列专栏 2 -- NVIDIA 的 H100 和 H200 是什么?】
英伟达 H100 是其最新一代数据中心 GPU,是继 A100 之后的下一代产品。它基于英伟达的 Hopper 架构,并针对强大的计算性能、灵活性和效率进行了优化,主要用于人工智能、大数据和高性能计算等领域。英伟达 H200 是 H100 的升级版本,继续基于 Hopper 架构,通过进一步优化和增强来提升性能和效率,适用于更广泛和更苛刻的计算任务。原创 2024-07-25 17:23:43 · 542 阅读 · 0 评论 -
【NPU 系列专栏 1 -- NPU TOPS 是什么?】
TOPS 是衡量 NPU 性能的一个关键指标,类似于 CPU 的 GHz 或 FLOPS(Floating Point Operations Per Second,浮点运算每秒)。较高的 TOPS 表示处理器能够在更短的时间内处理更多的计算操作,从而提高整个系统的性能和效率。较高的 TOPS 表示处理器能够在更短的时间内处理更多的计算操作,从而提高整个系统的性能和效率。假设某自动驾驶汽车的 NPU 具有 200 TOPS 的性能,这意味它可以每秒执行 200 万亿次操作。原创 2024-07-25 17:08:28 · 235 阅读 · 0 评论