近日,老黄手持Blackwell向全世界展示的那一刻,全场观众沸腾了。
这是迄今为止世界上最大的芯片!
用老黄的话来说,它是「全世界迄今为止制造出来的最复杂、性能最高的计算机。」
GPT-4o深夜发布!Plus免费可用!https://www.zhihu.com/pin/1773645611381747712
没体验过OpenAI最新版GPT-4o?快戳最详细升级教程,几分钟搞定:
升级ChatGPT-4o Turbo步骤https://www.zhihu.com/pin/1768399982598909952
英伟达产品的迭代速度,已经彻底无视摩尔定律。
一手硬件,一手CUDA,老黄胸有成竹地穿过「计算通货膨胀」,豪言预测——在不久的将来,每一个处理密集型应用都将被加速,每一个数据中心也肯定会被加速。
到目前为止,计算机行业已有60多年的历史,而现在,一个全新的计算时代已然开始。
1964年,IBM的System 360首次引入了CPU,通用计算通过操作系统将硬件和软件分离。
架构兼容性、向后兼容性等,所有我们今天所了解的技术,都是从这个时间点开始的。
直到1995年,PC革命开启让计算走进千家万户,更加民主化。
2007年,iPhone推出直接把「电脑」装进了口袋,并实现了云端链接。
可以看出,过去60年里,我们见证了2-3个推动计算行业转变的重要技术节点。
而如今,我们将再一次见证历史。
老黄表示,「有两个最基础的事情正在发生」。
首先是处理器,性能扩展已经大大放缓,而我们所需的计算量、需要处理的数据都在呈指数级增长。 按老黄的话来说,我们正经历着「计算通货膨胀」。
过去的20年里,英伟达一直在研究加速计算。比如,CUDA的出现加速了CPU负载。事实上,专用的GPU效果会更好。
当我们运行一个应用程序时,不希望它需要100秒甚至100小时才能完成。
因此,英伟达首创了异构计算,让CPU和GPU并行运行,将过去需要100个时间单位的任务,加速到仅需1个时间单位。
这实现了100倍的速率提升,而功耗仅增加3倍,成本仅为原来的1.5倍。
除了GPU,英伟达还做了业界难以企及的事,那就是重写软件,以加速硬件的运行。
如下图所示,从深度学习的cuDNN、物理模拟的Modulus、通信的Aerial RAN、基因序列的Parabricks,到量子计算模拟的cuQUANTUM、数据处理的cuDF等领域,都有专用的CUDA软件。
也就是说,没有CUDA,就等同于计算机图形处理没有OpenGL,数据处理没有SQL。
而现在,采用CUDA的生态遍布全球。
就在上周,谷歌宣布将cuDF加入谷歌云,并加速世界上最受欢迎的数据科学库Pandas。
现在,只需点击一下,就可以在CoLab中使用Pandas。数据处理速度快得令人难以置信。
推荐阅读:
LSTM卷土重来之Vision-LSTM横空出世!!
新架构Mamba-2正式发布!!真实版“man, what can i say”!!