是不是低估了英伟达在CES上发布的这个2万块钱的小盒子？能跑200B的大模型，意味着什么
原创 搬砖 IT搬砖录 2025年01月08日 19:31 浙江
Project DIGITS搭载了英伟达GB10超级芯片，这款芯片由Blackwell GPU和Grace CPU组成，配备了128GB LPDDR5X内存和4TB NVMe SSD，能够运行超过200B大型语言模型，价格3000美金，2万多点人民币。
对于需要更高性能的应用场景，可以将两台Project DIGITS叠加在一起，处理多达405B的大型语言模型。
如果哪一天，这类规格的盒子在国内也上市，to B私有化部署大模型的推理成本将大大降低，也许真的触发B端的AI 大模型应用浪潮。
这一天，也许等一年，也许等二年，但英伟达已经证明这一天必将到来！
这个盒子确实让大家看到，也许某一天，每个打工人的桌面上都可以有一台AI超算。128G的统一内存，除了跑AI大模型，可以跑的生产力工具就多了。
24年火过一轮的AI PC，远没这个桌面AI超算让人期待，毕竟AI PC能支撑的端侧小模型的能力太没想象空间，英伟达的这个project digits神器一出，我们需要做的只是等待，在等待的过程中为AI应用爆发做准备，成本已注定会下降到与更多应用价值匹配的程度。
NVIDIA 将 Grace Blackwell 放在每一张办公桌上，让每一位 AI 开发人员触手可及
CES—— NVIDIA 今天推出了 NVIDIA ® Project DIGITS，这是一款个人 AI 超级计算机，可让全球的 AI 研究人员、数据科学家和学生使用 NVIDIA Grace Blackwell 平台的强大功能。
Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell 超级芯片，提供千万亿次的 AI 计算性能，可用于原型设计、微调和运行大型 AI 模型。
通过 Project DIGITS，用户可以使用自己的桌面系统开发和运行模型推理，然后在加速云或数据中心基础设施上无缝部署模型。
NVIDIA 创始人兼首席执行官黄仁勋表示：“AI 将成为各行各业中每一种应用的主流。借助 Project DIGITS，Grace Blackwell 超级芯片将惠及数百万开发者。将 AI 超级计算机放在每一位数据科学家、AI 研究人员和学生的桌子上，将使他们能够参与并塑造 AI 时代。”
GB10 超级芯片提供千万亿次高效的 AI 性能
GB10 超级芯片是基于 NVIDIA Grace Blackwell 架构的片上系统 (SoC)，以 FP4 精度提供高达 1 千万亿次的 AI 性能。
GB10 采用NVIDIA Blackwell GPU，配备最新一代 CUDA® 核心和第五代Tensor 核心，通过NVLink ® -C2C芯片到芯片互连连接到高性能 NVIDIA Grace™ CPU，其中包括 20 个采用 Arm 架构构建的节能核心。联发科是基于 Arm 的 SoC 设计的市场领导者，参与了 GB10 的设计，为其一流的能效、性能和连接性做出了贡献。
GB10 超级芯片使 Project DIGITS 仅使用标准电源插座即可提供强大的性能。每个 Project DIGITS 都具有 128GB 的统一、一致内存和高达 4TB 的 NVMe 存储。借助这台超级计算机，开发人员可以运行多达 2000 亿个参数的大型语言模型，从而增强 AI 创新。此外，使用NVIDIA ConnectX ®网络，两台 Project DIGITS AI 超级计算机可以连接起来，运行多达 4050 亿个参数的模型。
Grace Blackwell AI 超级计算触手可及借助
Grace Blackwell 架构，企业和研究人员可以在运行基于 Linux 的 NVIDIA DGX OS 的本地 Project DIGITS 系统上对模型进行原型设计、微调和测试，然后将其无缝部署在NVIDIA DGX Cloud ™、加速云实例或数据中心基础架构上。
这使得开发人员能够在 Project DIGITS 上制作 AI 原型，然后使用相同的 Grace Blackwell 架构和NVIDIA AI Enterprise软件平台在云端或数据中心基础设施上进行扩展。
Project DIGITS 用户可以访问 NVIDIA AI 软件的广泛库进行实验和原型设计，包括 NVIDIA NGC 目录和 NVIDIA 开发者门户中提供的软件开发套件、编排工具、框架和模型。开发人员可以使用NVIDIA NeMo ™ 框架微调模型，使用NVIDIA RAPIDS ™ 库加速数据科学，并运行 PyTorch、Python 和 Jupyter 笔记本等常见框架。
为了构建代理式 AI 应用程序，用户还可以利用NVIDIA Blueprints和NVIDIA NIM ™ 微服务，这些微服务可通过 NVIDIA 开发者计划进行研究、开发和测试。当 AI 应用程序准备从实验转移到生产环境时，NVIDIA AI Enterprise 许可证可提供企业级安全性、支持和 NVIDIA AI 软件的产品版本。
上市时间
Project DIGITS 将于 5 月由 NVIDIA 及其顶级合作伙伴上市，起价为 3,000 美元。立即注册接收通知。
NVIDIA Puts Grace Blackwell on Every Desk and at Every AI Developer’s Fingertips
NVIDIA Project DIGITS With New GB10 Superchip Debuts as World’s Smallest AI Supercomputer Capable of Running 200B-Parameter Models
January 6, 2025
CES—NVIDIA today unveiled NVIDIA® Project DIGITS, a personal AI supercomputer that provides AI researchers, data scientists and students worldwide with access to the power of the NVIDIA Grace Blackwell platform.
Project DIGITS features the new NVIDIA GB10 Grace Blackwell Superchip, offering a petaflop of AI computing performance for prototyping, fine-tuning and running large AI models.
With Project DIGITS, users can develop and run inference on models using their own desktop system, then seamlessly deploy the models on accelerated cloud or data center infrastructure.
“AI will be mainstream in every application for every industry. With Project DIGITS, the Grace Blackwell Superchip comes to millions of developers,” said Jensen Huang, founder and CEO of NVIDIA. “Placing an AI supercomputer on the desks of every data scientist, AI researcher and student empowers them to engage and shape the age of AI.”
GB10 Superchip Provides a Petaflop of Power-Efficient AI Performance
The GB10 Superchip is a system-on-a-chip (SoC) based on the NVIDIA Grace Blackwell architecture and delivers up to 1 petaflop of AI performance at FP4 precision.
GB10 features an NVIDIA Blackwell GPU with latest-generation CUDA® cores and fifth-generation Tensor Cores, connected via NVLink®-C2C chip-to-chip interconnect to a high-performance NVIDIA Grace™ CPU, which includes 20 power-efficient cores built with the Arm architecture. MediaTek, a market leader in Arm-based SoC designs, collaborated on the design of GB10, contributing to its best-in-class power efficiency, performance and connectivity.
The GB10 Superchip enables Project DIGITS to deliver powerful performance using only a standard electrical outlet. Each Project DIGITS features 128GB of unified, coherent memory and up to 4TB of NVMe storage. With the supercomputer, developers can run up to 200-billion-parameter large language models to supercharge AI innovation. In addition, using NVIDIA ConnectX® networking, two Project DIGITS AI supercomputers can be linked to run up to 405-billion-parameter models.
Grace Blackwell AI Supercomputing Within Reach
With the Grace Blackwell architecture, enterprises and researchers can prototype, fine-tune and test models on local Project DIGITS systems running Linux-based NVIDIA DGX OS, and then deploy them seamlessly on NVIDIA DGX Cloud™, accelerated cloud instances or data center infrastructure.
This allows developers to prototype AI on Project DIGITS and then scale on cloud or data center infrastructure, using the same Grace Blackwell architecture and the NVIDIA AI Enterprise software platform.
Project DIGITS users can access an extensive library of NVIDIA AI software for experimentation and prototyping, including software development kits, orchestration tools, frameworks and models available in the NVIDIA NGC catalog and on the NVIDIA Developer portal. Developers can fine-tune models with the NVIDIA NeMo™ framework, accelerate data science with NVIDIA RAPIDS™ libraries and run common frameworks such as PyTorch, Python and Jupyter notebooks.
To build agentic AI applications, users can also harness NVIDIA Blueprints and NVIDIA NIM™ microservices, which are available for research, development and testing via the NVIDIA Developer Program. When AI applications are ready to move from experimentation to production environments, the NVIDIA AI Enterprise license provides enterprise-grade security, support and product releases of NVIDIA AI software.
Availability
Project DIGITS will be available in May from NVIDIA and top partners, starting at $3,000. Sign up for notifications today.
扫一扫
2960
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
