人工智能应用的蓬勃发展对算力提出了非常迫切的要求。由于摩尔定律已经失效, 定制计算将成为主流方向,因而新型的 AI 芯片开始层出不穷,竞争也日趋白热。参与这一竞争的不光是传统的半导体芯片厂商,大型的互联网和终端设备企业依托于自身庞大的应用规模,直接从自身业务需求出发,参与到 AI 芯片的开发行列。这其中以英伟达为代表的 GPU 方案已经形成规模庞大的生态体系,谷歌的 TPU 则形成了互联网定义 AI 芯片的标杆,其余各家依托各自需求和优势,提出了多类解决方案。本文将简要梳理目前各家技术进展状态,结合人工智能应用的发展趋势,对影响 AI 芯片未来发展趋势的主要因素做出一个粗浅探讨。

  AI 计算芯片现状

  目前 AI 芯片领域主要的供应商仍然是英伟达,英伟达保持了极大的投入力度,快速提高 GPU 的核心性能,增加新型功能,保持了在 AI 训练市场的霸主地位,并积极拓展嵌入式产品形态,推出 Xavier 系列。互联网领域,谷歌推出 TPU3.0,峰值性能达到 100pflops,保持了专用加速处理器的领先地位。同时华为、百度、阿里、腾讯依托其庞大应用生态,开始正式入场,相继发布其产品和路线图。此外,FPGA 技术,因其低延迟、计算架构灵活可定制,正在受到越来越多的关注,微软持续推进在其数据中心部署 FPGA,Xilinx 和 Intel 俩家不约而同把 FPGA 未来市场中心放到数据中心市场。Xilinx 更是推出了划时代的 ACAP,第一次将其产品定位到超越 FPGA 的范畴。相较云端高性能 AI 芯片,面向物联网的 AI 专用芯片门槛要低很多,因此也吸引了众多小体量公司参与。

  1、NVIDIA:Xavier

  2018 年 1 月,英伟达发布了首个自动驾驶处理器——Xavier。这款芯片具有非常复杂的结构,内置六种处理器,超过 90 亿个晶体管,可以处理海量数据。Xavier 的 GMSL(千兆多媒体串行链路)高速 IO 将其与迄今为止最大阵列的激光雷达、雷达和摄像头传感器连接起来。

  2、NVIDIA:DGX-2

  2018 年 3 月,NVIDIA 发布首款 2-petaFLOPS 系统——DGX-2。它整合了 16 个完全互联的 GPU,使深度学习性能提升 10 倍。有了 DGX-2 ,模型的复杂性和规模不再受传统架构限制的约束。与传统的 x85 架构相比,DGX-2 训练 ResNet-50 的性能相当于 300 台配备双英特尔至强 Gold CPU 服务器的性能,后者的成本超过 270 美元。

  3、Google:TPU

  自 2016 年首次发布 TPU 以来,Google 持续推进,2017 年发布 TPU 2.0,2018 年 3 月 Google I/O 大会推出 TPU 3.0。其每个 pod 的机架数量是 TPU 2.0 的两倍;每个机架的云 TPU 数量是原来的两倍。据官方数据,TPU 3.0 的性能可能是 TPU2.0 的八倍,高达 100 petaflops。

  4、华为:晟腾 910 & 晟腾 310

  2018 年 10月,华为正式发布两款 AI 芯片:昇腾 910 和昇腾 310。预计下一年第二季度正式上市。华为昇腾 910 采用 7nm 工艺,达芬奇架构,半精度(FP16)可达 256TeraFLOPS,整数精度(INT8)可达 512TeraOPS,自带 128 通道全高清视频××× H.264/265,最大功耗350W。华为昇腾 310 采用 12nmFFC 工艺,达芬奇架构,半精度(FP16)可达8TeraFLOPS,整数精度(INT8)可达 16 TeraOPS,自带 16 通道全高清视频×××H.264/265,最大功耗 8W。

  5、寒武纪:MLU100

  2018 年 5 月,寒武纪推出第一款智能处理板卡——MLU100。搭载了寒武纪 MLU100 芯片,为云端推理提供强大的运算能力支撑。等效理论计算能力高达 128 TOPS,支持 4 通道 64 bit ECCDDR4 内存,并支持多种容量。1M 是第三代机器学习专用芯片,使用 TSMC 7nm 工艺生产,其 8 位运算效能比达 5Tops/watt(每瓦 5 万亿次运算)。寒武纪 1M 处理器延续了前两代 IP 产品(1H/1A)的完备性,可支持 CNN、RNN、SOM 等多种深度学习模型,此次又进一步支持了 SVM、K-NN、K-Means、决策树等经典机器学习算法的加速。这款芯片支持帮助终端设备进行本地训练,可为视觉、语音、自然语言处理等任务提供高效计算平台。

  6、地平线:旭日 1.0 & 征程 1.0

  2017 年 12 月,地平线自主设计研发了中国首款嵌入式人工智能视觉芯片——旭日 1.0 和征程 1.0。旭日 1.0 是面向智能摄像头的处理器,具备在前端实现大规模人脸检测跟踪、视频结构化的处理能力,可广泛用于智能城市、智能商业等场景。征程 1.0是面向自动驾驶的处理器,可同时对行人、机动车、非机动车、车道线交通标识等多类目标进行精准的实时监测和识别,实现 FCW/LDW/JACC 等高级别辅助驾驶功能。

  7、比特大陆:BM1880 & BM1682

  2018 年 10 月,比特大陆正式发布边缘计算人工智能芯片 BM1880,可提供 1 TOPS@INT8 算力。推出面向深度学习领域的第二代张量计算处理器 BM 1682,峰值性能达 3 TFLOPS FP32。

  BM1682 的算丰智能服务器SA3、嵌入式 AI 迷你机 SE3、3D 人脸识别智能终端以及基于 BM1880 的开发板、AI 模块、算力棒等产品。BM1682 芯片量产发布,峰值算力达到 3TFlops,功耗为 30W。

  8、百度:昆仑芯片

  2018 年 7 月,百度AI开发者大会上李彦宏正式宣布研发 AI 芯片——昆仑。这款 AI 芯片适合对 AI、深度学习有需求的厂商、机构等。借助着昆仑 AI 芯片强劲的运算性能,未来有望应用到无人驾驶、图像识别等场景中去。

  9、阿里:研发 Ali-NPU、成立平头哥半导体芯片公司

  2018 年 4 月,阿里巴巴达摩院宣布正在研发的一款神经网络芯片——Ali-NPU。其主要用途是图像视频分析、机器学习等 AI 推理计算。9 月,在云栖大会上,阿里巴巴正式宣布合并中天微达摩院团队,成立平头哥半导体芯片公司。

  10、Xilinx:ACAP、收购深鉴科技无锡×××医院 http://wapyyk.39.net/wx/zonghe/fc96e.html

  2018 年 3 月,赛灵思宣布推出一款超越 FPGA 功能的新产品——ACAP(自适应计算加速平台)。其核心是新一代的 FPGA 架构。10月,发布最新基于 7nm 工艺的 ACAP 平台的第一款处理器——Versal。其使用多种计算加速技术,可以为任何应用程序提供强大的异构加速。Versal Prime 系列和 Versal AI Core 系列产品也将于 2019 年推出。

  2018 年 7 月,赛灵思宣布收购深鉴科技。

  AI 芯片发展面临的矛盾、问题、挑战

  目前AI芯片发展面临4大矛盾:围绕这些矛盾,需要解决大量相关问题和挑战。

  1、大型云服务商与AI芯片提供商的矛盾

  技术路线上,面向通用市场的英伟达持续推进 GPU 技术发展,但是大型云服务商也不愿陷入被动,结合自身规模庞大的应用需求,比较容易定义一款适合的 AI 芯片,相应的应用打磨也比较好解决。同时,新的芯片平台都会带来生态系统的分裂。但是对于普通用户,竞争会带来价格上的好处。由于 AI 算力需求飞速提升,短期内 AI 芯片市场还会进一步多样化。

  2、专用与通用间的矛盾

  云端市场由于各大巨头高度垄断,会形成多个相对封闭的 AI 芯片方案。而边缘端市场由于高度分散,局部市场难以形成完整的技术生态体系,生态建设会围绕主流核心技术拓展,包括ARM、Risc-V、NVDLA 等。各大掌握核心技术的厂商,也会迎合这一趋势,尽可能占领更大的生态份额,积极开放技术给中小企业开发各类 AI 芯片。

  3、AI 芯片创新与设计工具及生态之间的矛盾

  以 FPGA 为例,学界和业界仍然没有开创性的方法简化 FPGA 的开发,这是现阶段制约 FPGA 广泛使用的最大障碍。和 CPU 或 GPU 成熟的编程模型和丰富的工具链相比,高性能的 FPGA 设计仍然大部分依靠硬件工程师编写 RTL 模型实现。RTL 语言的抽象度很低,往往是对硬件电路进行直接描述,这样,一方面需要工程师拥有很高的硬件专业知识,另一方面在开发复杂的算法时会有更久的迭代周期。因此,FPGA 标榜的可编程能力与其复杂的编程模型之间,形成了鲜明的矛盾。近五到十年来,高层次综合(High Level Synthesis - HLS)一直是 FPGA 学术界研究的热点,其重点就是希望设计更加高层次的编程模型和工具,利用现有的编程语言比如 C、C++ 等,对 FPGA 进行设计开发。

  在工业界,两大 FPGA 公司都选择支持基于 OpenCL 的 FPGA 高层次开发,并分别发布了自己的 API 和 SDK 等开发工具。这在一定程度上降低了 FPGA 的开发难度,使得 C 语言程序员可以尝试在 FPGA 平台上进行算法开发,特别是针对人工智能的相关应用。尽管如此,程序员仍然需要懂得基本的 FPGA 体系结构和设计约束,这样才能写出更加高效的 OpenCL/HLS 模型。因此,尽管有不少尝试 OpenCL/HLS 进行产品开发的公司,但是目前国内实际能够掌握这类设计方法的公司还是非常稀缺。各家专用 AI 芯片厂商,都需要建立自己相对独立的应用开发工具链,这个投入通常比开发芯片本身还要庞大,成熟周期也慢很多。Xilinx 对深鉴的收购有效补充了其在 AI 应用开发方面的工具短板。近期 Intel 开源了 OpenVINO,也是在推动其 AI 及 FPGA 生态。也有少数在 FPGA 领域有长期积累的团队,例如深维科技在为市场提供定制 FPGA 加速方案,可以对应用生态产生有效促进作用。

  面对不同的需求,AI计算力最终将会驶向何方?

  主要云服务商以及终端提供商都会围绕自家优势产品平台发展 AI 芯片,云端 AI 芯片投入巨大,主流技术快速进化,国内企业需要重视 AI 芯片的隐性投入:设计开发工具、可重用资源和生态伙伴。不过近期不大可能迅速形成整合的局面,竞争会进一步加剧。在端上,基于 DSA/RISC-V 的 AI 芯片更多出现在边缘端 AI+IoT,百花齐放。

  三大类技术路线各有优劣,长期并存。

  GPU 具有成熟的生态,在 AI 领域具有显著的先发优势,目前保持高速增长态势。

  以 Google TPU 为代表的专用 AI 芯片在峰值性能上较 GPU 有一定优势。确定性是 TPU 另一个优势。CPU 和 GPU 需要考虑各种任务上的性能优化,因此会有越来越复杂的机制,带来的副作用就是这些处理器的行为非常难以预测。而使用 TPU 能轻易预测运行一个神经网络并得出模型与推测结果需要多长时间,这样就能让芯片以吞吐量接近峰值的状态运行,同时严格控制延迟。不过,TPU 的性能优势使得它的灵活性较弱,这也是 ASIC 芯片的常见属性。充分针对性优化的架构也可以得到最佳的能效比。但是开发一款高性能专用芯片的投入是非常高昂的,通常周期也需要至少 15 个月。

  FPGA 以及新一代 ACAP 芯片,则具备了高度的灵活性,可以根据需求定义计算架构,开发周期远远小于设计一款专用芯片。但是由于可编程资源必不可少的冗余,FPGA 的能效比以及价格通常比专用芯片要差很多。但是 ACAP 的出现,引入了 AI 核的优点,势必会进一步拉近与专用芯片的差距。随着 FPGA 应用生态的逐步成熟,FPGA 的优势也会逐渐为更多用户所了解。

  总而言之,AI 芯片的“战国时代”大幕已经拉开,各路“诸侯”争相割据一方,谋求霸业,大家难以独善其身,合纵连横、百家争鸣将成为常态。这也必定会是一个英雄辈出的时代。