「Caffe架构+5.5万行代码+芯片每秒6万亿次浮点运算」这是AMD深度学习的开源战略

当一家公司开始使用突破性技术或商业模式时，其结果可能是令人难以想象的，甚至让竞争对手完全丧失追赶的可能。

 

能够达到这种结果的原因是：尽管公司的早期发展看起来是线性的，但其最终将显现为以指数形式增长。当一家公司到达这一点时，竞争对手再想赶上就变得非常困难，几乎不可能了。

 

本文将探讨AMD的深度学习开源策略，并解释AMD ROCm计划在加速深度学习发展方面的优势。回答AMD的竞争对手，是否需要关注AMD正在进行的突破性改变的问题。

 

▍AMD深度学习开源堆栈

 

在介绍AMD深度学习堆栈的细节之前，让我们来看看开发工具背后的理念。AMD作为CPU和GPU的供应商，享有独一无二的地位，多年来一直在推广异构系统架构（HSA）的概念。与其他供应商的大多数开发工具不同，AMD的工具旨在支持其基于x86的CPU和GPU。AMD在HSA基金会（成立于2012年）共享HSA设计和成果，该基金会是一个非营利组织，其成员包括ARM，Qualcomm和Samsung等其他CPU供应商。

 

HSA基金会用一个图表，说明了HSA堆栈：

来源：HSA 基金会

 

如图所示所见，中间件（即HSA Runtime Infrastructure）在驻留在单个系统中的不同类型的计算设备之间提供了一个抽象层。人们可以将其视为允许在CPU和GPU上运行相同程序的虚拟机。

 

2015年11月，AMD宣布ROCm计划将支持高性能计算（HPC）工作负载，并为Nvidia的CUDA平台提供替代方案。该计划发布了一个开源的64位Linux驱动程序（称为ROCk内核驱动程序）和扩展（即非标准）HSA运行环境（称为ROCr Runtime）。ROCm还继承了之前HSA的创新，如AQL数据包、用户模式队列和环境切换。

 

ROCm还发布了一个名为异构计算编译器（HCC）的C / C ++编译器，旨在支持HPC应用程序。HCC基于开源的LLVM编译器基础设施项目（https://en.wikipedia.org/wiki/LLVM）。

还有许多使用LLVM的开源语言，包括Ada，C＃，Delphi，Fortran，Haskell，Javabytecode，Julia，Lua，Objective-C，Python，R，Ruby，Rust和Swift。这个丰富的生态系统开启了ROCm平台上替代语言的可能性。一个令人瞩目的开发就是名为NUMBA的Python应用。

 

添加到编译器的是一个称为HC的API，它提供对同步，数据迁移和内存分配的附加控制。HCC支持其他并行编程API，为了避免混淆，不会在这篇文章中介绍。

 

HCC编译器基于HSA基础上工作。这样可以将CPU和GPU代码写入相同的源文件，并支持统一的CPU-GPU内存分配等功能。

 

为了进一步缩小差距，ROCm 项目创建了一个名为HIP的CUDA移植工具（让我们忽略缩写代表的意思）。