用NVIDIA A100 GPUs提高计算机视觉

用NVIDIA A100 GPUs提高计算机视觉

Improving Computer Vision with NVIDIA A100 GPUs

在2020年英伟达GPU技术会议的主题演讲中，英伟达创始人兼首席执行官黄延森介绍了基于英伟达安培GPU架构的新英伟达A100 GPU。

在这篇文章中，我们详细介绍了A100的令人兴奋的新特性，这些特性使NVIDIA GPU成为计算机视觉工作负载的一个更好的动力。我们还展示了NVIDIA最近的两个CV研究项目：语义分割的层次多尺度注意和Bi3D：通过二元分类的立体深度估计，并展示了它们如何受益于A100。
NVIDIA A100是有史以来最大的7nm芯片，由54B晶体管、40gb的HBM2 GPU存储器和1.5tb/s的GPU存储器带宽组成。A100为深度学习（DL）训练提供了高达624 TF的FP16算术吞吐量，为DL推理提供了多达1248个INT8算术吞吐量的TOP。在高水平上，英伟达A100配备了一套令人兴奋的新功能：

多实例GPU（MIG）允许将A100 Tensor-Core GPU安全地划分为多达七个单独的GPU实例，用于CUDA应用程序

使用TensorFloat 32（TF32）指令加速FP32数据处理的第三代张量核

第三代NVLink的互连速度是PCIe gen 4的10倍

对于CV工作负载，与V100上的一个视频解码器相比，A100中的视频解码器数量急剧增加到5个。它还包括五个新的硬件JPEG解码器引擎和新的改进硬件光流。

要深入了解NVIDIA安培体系结构，请参阅NVIDIA安培体系结构深度和A100白皮书。

CV research at NVIDIA

在CVPR 2020年，NVIDIA的研究人员发表了15篇研究论文。在这篇文章中，我们展示了英伟达最近的两个研究项目：

分层多尺度注意在语义分割中的应用

NVIDIA A100 Tensor核心GPU体系结构

Hierarchical Multi-Scale Attention for Semantic Segmentation

在自动驾驶、医学成像甚至变焦虚拟背景中，有一项重要的技术是常用的：语义分割。这是将图像中的像素标记为属于N个类（N是任意数量的类）之一的过程，其中类可以是汽车、道路、人或树等。对于医学图像，类对应于不同的器官或解剖结构。

NVIDIA是一种应用广泛的语义分割技术。我们还认为，改进语义分割的技术也可能有助于改进许多其他密集预测任务，如光流预测（预测物体运动）、图像超分辨率等。

多尺度推理是提高语义分割效果的常用方法。多个图像尺度通过一个网络，然后将结果与平均值或最大池相结合。

在分层多尺度注意语义分割中，提出了一种基于注意的多尺度预测方法。我们表明，在一定尺度下的预测能够更好地解决某些失效模式，并且网络学会在这种情况下支持这些尺度，以便生成更好的预测。我们的注意机制是分层的，这使得它的训练内存效率比其他最近的方法高出大约4倍。除了加快训练速度之外，这还允许我们训练更大的作物尺寸，从而提高模型精度。

我们在两个数据集：城市景观和地图景观上展示了我们的方法的结果。对于具有许多弱标记图像的城市景观，我们还利用自动标记来提高泛化能力。使用这种方法，我们在地图（61.1 IOU val）和城市景观（85.1 IOU测试）中都获得了最新的结果。

Bi3D: Stereo Depth Estimation via Binary Classifications

基于立体的深度估计是计算机视觉的基石，最先进的方法可以提供精确的结果。有些应用，如自主导航，并不总是需要厘米级的精确深度，但有严格的延迟要求。

事实上，深度估计所需的准确度、延迟和感兴趣的范围因手头的任务而异。例如，高速公路行驶需要在极低的延迟下进行更长的测量范围，但可以处理粗略量化的深度。更重要的是在毫秒内探测到一个大约80米的障碍物，而不是在10毫秒后发现它正好在81.2米之外。另一方面&#