在启动运行在Arm芯片上的云服务器的三天后,AWS宣布,它还设计了自己的处理器,用于机器学习应用程序中的推理。周三上午,在拉斯维加斯举行的云计算巨头AWS年度大会上,AWS首席执行官安迪•雅西(Andy Jassy)在主题演讲中宣布了这款名为“AWS Inferentia”的推理芯片。
AWS的竞争对手谷歌云在2016年发布了其首款定制机器学习芯片张量处理单元。谷歌说,到那时,它已经在数据中心运行TPU大约一年了。
谷歌目前是第三代TPU,它一直以云服务的形式提供给客户。亚马逊在云计算市场的最大竞争对手微软Azure尚未推出自己的处理器。这三家公司都使用Nvidia GPU作为机器学习工作负载加速服务;AWS和Azure也为机器学习提供FPGA。
与亚马逊定制的Arm处理器一样,Inferentia也是在安纳普尔纳(Annapurna)工程师的帮助下设计的,这家以色列初创公司于2015年被亚马逊收购。
AWS计划向客户提供Inferentia,但它将与谷歌提供的产品非常不同。与为训练机器学习模型而设计的TPU不同,推论是为推理而设计的,推理是一个系统在经过训练后所做的决策。这是在模特经过成千上万张带有标签的猫咪照片的训练后,识别图片中猫的部分。
Jassy称,制造机器学习加速器处理器的公司——最大的是英伟达(Nvidia)——将大部分注意力放在优化处理器以进行培训上。这就是为什么AWS决定专注于设计更好的推理芯片。
他没有透露任何有关该芯片设计或性能的细节,也没有透露该芯片将于何时上市。该公司在其网站上表示,每个推理芯片“提供了数百个top (tera运算每秒)的推理吞吐量……为了获得更高的性能,多个AWS推理芯片可以一起驱动数千个top的吞吐量。”
Jassy说:“它可以在所有EC2实例类型上使用,也可以在SageMaker中使用,并且可以通过弹性推理来使用它。”SageMaker是一个AWS管理的服务,用于构建和培训机器学习模型。
Jassy周三宣布,弹性推理是AWS的一个新特性。它使用户能够根据需要自动伸缩部署在云中的推理处理器容量。
P3实例是亚马逊云上最流行的机器学习实例。如果没有它,用户必须为峰值需求提供足够的P3容量,在系统不在峰值运行时为未使用的容量付费。
Jassy说,这导致P3实例上gpu的平均利用率为10%到30%。
弹性推断可以附加到AWS中的任何EC2实例上,并根据需要进行伸缩,这可能为用户节省很多钱。Jassy说,它可以检测用户使用的机器学习框架,找到最能从硬件加速中获益的部件,并自动将它们转移到加速器上。
目前,这款加速器将是一款Nvidia GPU。根据Jassy的说法,一旦Amazon添加了Inferentia选项,它希望自己的芯片能够比使用弹性推理的gpu带来额外的“10倍”成本改善。