Turing GPU将如何彻底改变沉浸式AI

最新推荐文章于 2020-06-14 11:03:38 发布

cxw9087

最新推荐文章于 2020-06-14 11:03:38 发布

阅读量383

点赞数

文章标签：嵌入式人工智能 python

图形处理单元（GPU）远远超过图形芯片。多年来，它们一直是人工智能革命的核心。这在很大程度上是由于这样的事实，即用于高保真3D图像处理的计算基础非常适合支持支持当今最复杂的AI应用程序的神经网络的数学。

GPU从一开始就似乎是为AI设计的，但是那会歪曲这项技术的历史发展。多年来，Nvidia，AMD和其他芯片制造商通过提供用于PC图形，交互式游戏，图像后处理和虚拟桌面基础架构的GPU赚了很多钱。

尽管如此，图形处理和AI之间的亲和力是不可否认的。例如，卷积神经网络（CNN）处于AI的最前沿，主要用于图像分析，分类，渲染和操纵。毫无疑问，GPU是许多应用程序中CNN处理的主要硬件工具之一。

AI和图像处理的共同点

从技术角度来看，图像处理和AI的共同点在于对高度并行的矩阵和矢量运算的依赖，这正是GPU的亮点。本质上，AI术语中的矩阵（也称为“张量图”）等效于计算机生成的图像帧中的像素矩阵（或点的行和列）。 GPU的嵌入式内存结构将整个图形图像作为矩阵进行处理-可能是通过并发执行深度学习和其他AI矩阵而获得的自适应智能功能进行了丰富。这种架构使基于GPU的系统能够使用嵌入式AI来动态，有选择地加速图像更新和修改的处理。

这些工作负载之间的共生关系在应用程序级别也很明显，这解释了为什么GPU通常是许多智能，图形丰富的应用程序首选的硬件加速器技术。越来越多的人将AI嵌入到大众市场的图像处理产品中，例如可自动稳定图像，调整色彩和曝光度，选择焦点以及以其他方式根据现场实时调整图像的智能相机。被捕获，从而降低了我们中任何人可能拍摄技术上无能的照片的可能性。

同样，我们看到越来越多地采用GPU驱动的AI来实现诸如去噪，分辨率缩放，可变速率阴影，对象检测，边缘检测，运动检测以及对缺少元素的插值等先进的图像处理功能，这些元素被嵌入到智能相机中，随处可见。基于浏览器的机器学习的越来越多的采用集中在GPU增强的图形密集型应用程序，例如图像检测，识别，分类和操作。 GPU正在推动对抗性网络（GAN）的发展，这是一种领先的AI方法，其图形应用程序包括为游戏，艺术，娱乐，医疗和其他应用程序生成逼真的高分辨率图像。

甚至还有新一代支持GPU的智能手机，除其他应用程序外，它们还采用了动态图像处理功能，旨在对人脸图像进行逼真的（但本质上是修饰的）增强效果。

尽管在大多数部署中，GPU和CPU之间存在共生关系，但很明显GPU的优势在于：与CPU内核相比，GPU的执行单元（称为流多处理器 ）可以并行执行更多操作。 GPU可以在本地内存和寄存器中存储更多可重复使用的缓存数据，以实现快速矢量化和矩阵乘法。与CPU相比，GPU还具有更高的内存带宽，更大的线程并行度，并且可以在短路径寄存器内存中保存更多数据。

Nvidia的Turing架构将如何实现AI驱动的沉浸式体验

Nvidia最近发布了新的Turing架构，突显了GPU在将3D图像处理与人工神经网络集成在一起的应用中的长期优势。 Turing是Nvidia的第八代GPU架构，已被集成到多个新GPU中：Nvidia Quadro RTX 8000，Quadro RTX 6000和Quadro RTX5000。除了增强了图形优化的CUDA内核和AI增强Tensor内核Nvidia已与该供应商的GPU的早期版本集成在一起，已在Turing中集成了一种称为RT Cores的新图形优化技术，该技术旨在使Nvidia的GPU更快，更高效地执行实时场景中的光线跟踪操作。。

光线追踪（迄今为止仅在高性能计算机生成的成像应用程序中可用）对光线传播的物理过程进行建模。尽管Nvidia主要为“栩栩如生的游戏”推广Turing的实时光线追踪（这也有助于解释Microsoft在该技术上的投资），但是该功能显然非常适合任何依赖现实视觉处理来提供真实视觉效果的应用程序。沉浸式体验。它的作用是模拟光线如何被周围环境中的对象反射，衍射，散射或阻挡。动态光线跟踪的场景看起来比传统的光栅化计算机视觉效果要真实得多。实时光线跟踪可以以高保真度模拟眩光，阴影，颜色偏移和其他光线传播效果的偏移模式。

尽管需要大量计算，但是实时光线跟踪可以在游戏，协作和其他沉浸式应用程序中带来所有不同，在这些应用程序中，用户希望虚拟世界和物理世界能够无缝融合。因此，Nvidia的Turing GPU适用于任何AI增强型图形应用程序，这些应用程序可将用户沉浸在完全人造的数字环境中，将虚拟对象叠加在现实环境中，或将虚拟对象锚定到现实世界中，并让用户与虚拟对象。

换句话说，以Nvidia的Turing架构为代表的GPU是虚拟，增强和混合现实设备和应用程序的重要组成部分。因此，Nvidia的Turing发行包括对VirtualLink的本地支持也就不足为奇了， VirtualLink是一种新的USB-C备用模式，该模式可以标准化围绕一条高带宽USB-C电缆的虚拟现实连接。英特尔计划在未来两年内推出自己的GPU也就不足为奇了-尽管游戏似乎迟到了，奇怪地纯粹针对游戏，并且似乎旨在蚕食对其新发布的下一代图形多核CPU的兴趣针对游戏和内容创建中的图形工作负载进行了优化。

无论如何，英伟达似乎可能会通过Turing芯片来扩大其GPU市场领先地位。其新一代GPU非常适合前沿沉浸式应用程序，这些应用程序将AI深入推动了全球的移动，嵌入式，边缘和物联网（IoT）应用程序。

您可以期望看到沉浸式技术的应用

可以想象将在其中部署Turing GPU的各种图形丰富的AI应用程序：

协作：AI生成的图形化身可能支持虚拟和物理协作的沉浸式融合，其中每个人都可以使用头戴式耳机和降噪耳机，并且可以进入协作式，身临其境的虚拟环境。
学习：AI生成的模拟可以为个人和团体提供交互式，逼真的3D体验学习环境。
营销：AI生成的产品目录可以使逼真的渲染的3D项目虚拟地覆盖，放置，定制并安装在客户的身体上或他们的房屋，汽车和其他环境中。
设计：开发人员和工程师可以使用AI生成的原型与完美渲染的3D设计进行交互，以进行将来可能的创作，然后再致力于物理原型或将其发送到工厂。
导航：当在抬头显示器中实现时，AI生成的图形自动完成或“ 修复 ”功能可以帮助驾驶员查看车辆盲区中的内容或突出显示实时环境中可能存在的显着物体被忽略了。
医学：AI生成的图形分辨率增强功能可以帮助医生在使用智能护目镜时进行外科手术时更轻松地查看身体组织中的细微细节，而医学人体模型实际上可以覆盖在实际患者身上，以帮助诊断，培训和其他医疗保健场景。
工业：AI增强的数字孪生环境可以在混合的物理和虚拟环境中支持图形建模，优化和维护制造，物流和其他工业有形资产。

GPU表现不佳的地方

但是请记住，GPU并非万能的硬件加速器。 GPU通常具有比CPU少的内存容量，GPU必须使用CPU来摄取数据，并且GPU时钟速度往往最高达到高端CPU的三分之一，这一限制限制了GPU快速处理顺序任务的能力。

同样重要的是，GPU并不一定是每个AI工作负载的最佳硬件加速技术，这些AI工作负载将智能注入图形移动，边缘，物联网和其他应用程序中。在作为现代产品核心的片上系统（SoC）中，GPU占据着CPU和各种专用神经网络处理器（例如张量处理单元（TPU），现场编程门阵列（FPGA））的位置。），以及专用集成电路（ASIC）。

在不断发展的智能边缘设备生态系统中，真正的共生将取决于所有这些嵌入式AI芯片共同发挥多大程度来创造视觉体验，这些视觉体验以逼真的逼真的效果震惊了我们。

From: https://www.infoworld.com/article/3313086/how-the-turing-gpu-will-revolutionize-immersive-ai.html