测评:谷歌Edge TPU芯片Vs.英伟达Nano的边缘AI性能

Google Coral Edge TPU与 英伟达 Jetson Nano:快速深入了解Edge AI 边缘人工智能的性能。

最近我一直在阅读,测试和写一些关于边缘计算的内容,主要关注边缘AI。 最近很酷的新硬件上架,我渴望比较新平台的性能,甚至测试它们与高性能系统的对比。

 

硬件

我感兴趣的主要设备是新的英伟达 Jetson Nano(128CUDA)和Google Coral Edge TPU(USB加速器),我还将测试i7-7700K + GTX1080(2560CUDA),Raspberry Pi 3B +,以及我自己的老主力,一个2014年的macbook pro,包含一个i7-4870HQ(没有支持CUDA的内核)。

 

软件

我将使用MobileNetV2作为分类器,在imagenet数据集上进行预训练。我直接从Keras使用这个模型,我使用TensorFlow后端。使用GPU的浮点权重,以及CPU和Coral Edge TPU的8位量化tflite版本。

首先,加载喜鹊的模型和图像。然后我执行1个预测作为预热(因为我注意到第一个预测总是比下一个预测慢很多)。我让它睡了1秒,所以所有线程肯定都完成了。然后脚本为它运行,并对同一图像进行250次分类。通过对所有分类使用相同的图像,我们确保在整个测试过程中它将保持接近数据总线。毕竟,我们对推理速度感兴趣,而不是更快地加载随机数据的能力。

使用CPU的量化tflite模型得分是不同的,但它似乎总是返回与其他人相同的预测,所以我想这在模型中是奇怪的,我很确定它不会影响性能。

 

现在,因为不同平台的结果是如此不同,所以很难想象,所以这里有一些图表,选择你喜欢的...

分析

第一张图中有3个条形图跳入视图。 (是的,第一张图,线性刻度fps,是我最喜欢的,因为它显示了高性能结果的差异)在这3个柱中,其中2个是由Google Coral Edge TPU USB加速器实现的,第3个是由英特尔i7-7700K辅助的全面NVIDIA GTX1080。

 

 

 

看得更近,你会看到GTX1080实际上被Coral击败了。让它下沉几秒钟,然后准备被吹走,因为GTX1080最大功率为180W,与Coral2.5W相比绝对是巨大的。

打击太大??好的,让我们继续:

接下来我们看到的是,英伟达 Jetson Nano的得分并不高。虽然它有一个支持CUDA的GPU,但实际上并不比我原来的i7-4870HQ快得多。但这是一个问题,“不是更快”,它仍然比50W,四核,超线程CPU更快。几年前,真的,但仍然。 Jetson Nano从来没有消耗过超过12.5W的短期平均值,因为这就是我的动力。功耗降低75%,性能提升10%。

很明显,它本身的Raspberry Pi并不是什么令人印象深刻的东西,不是浮点模型,对量化模型来说仍然没有任何用处。但是,嘿,无论如何我准备好了文件,它能够运行测试,所以更多的总是更好吗?并且仍然有点有趣,因为它显示了Pi中的ARM Cortex A53与Jetson Nano中的A57之间的差异。

英伟达 Jetson Nano

因此,Jetson Nano并没有使用MobileNetV2分类器提供令人印象深刻的FPS费率,但正如我已经说过的那样,这并不意味着它不是一个很有用的工程。 它很便宜,它不需要大量的能量来运行,也许最重要的属性是它运行TensorFlow-gpu(或任何其他ML平台),就像你以前一直使用的任何其他机器一样。

 

只要您的脚本没有深入到CPU体系结构中,您就可以运行与i7 + CUDA GPU完全相同的脚本,也可以进行培训! 我仍然觉得NVIDIA应该使用TensorFlow预加载L4T,但我会尽量不再愤怒。 毕竟,他们对如何安装它有一个很好的解释(不要被愚弄,不支持TensorFlow 1.12,只有1.13.1)。

Google Coral Edge TPU

好吧,我非常喜欢设计精良,效率高的电子设备,所以我可能不是很客观。 但是这件事......这是绝对美丽的事情!

 

Edge TPU就是我们所说的“ASIC”(专用集成电路),这意味着它具有FET等小型电子部件和直接在硅层上烧制的容量的组合,这样它就可以完全实现 它需要做的是加快推理。

推断,是的,Edge TPU无法执行向后传播。

 

这背后的逻辑听起来比现在更复杂。 (实际上创建硬件并使其工作,是完全不同的事情,而且非常非常复杂。但逻辑功能要简单得多)。 如果你真的对它的工作方式感兴趣,可以查看“数字电路”和“FPGA”,你可能会找到足够的信息让你在接下来的几个月里忙碌起来。 有时开始时比较复杂,但真的很有趣!

但这正是为什么Coral在比较性能/瓦特数时处于如此不同的原因,它是一堆电子设备,旨在完成所需的按位操作,基本上没有任何开销。

为什么GPU没有8位模型?

GPU本质上被设计为细粒度并行浮点计算器。因此,使用浮动正是它所创造的,以及它的优点。 Edge TPU设计用于执行8位操作,并且CPU具有比完全位宽浮点数更快的8位内容更快的方法,因为它们在很多情况下必须处理这个问题。

为何选择MobileNetV2?

我可以给你很多理由,为什么MobileNetV2是一个很好的模型,但主要原因是,它是谷歌为Edge TPU提供的预编译模型之一。

Edge TPU还有哪些其他产品?

它曾经是不同版本的MobileNet和Inception,但截至上周末,谷歌推出了一个更新,允许我们编译自定义TensorFlow Lite模型。但限制是,并且可能永远是TensorFlow Lite模型。这与Jetson Nano不同,那个东西可以运行任何你想象的东西。

Raspberry Pi + Coral与其他人相比

为什么连接到Raspberry Pi时Coral看起来要慢得多?答案很简单直接:Raspberry Pi只有USB 2.0端口,其余的都有USB 3.0端口。而且由于我们可以看到i7-7700K在Coral和Jetson Nano上的速度更快,但仍然没有得到Coral开发板在NVIDIA测试时的分数,我们可以得出结论,瓶颈是数据速率,不是Edge TPU。

我觉得这对我来说已经足够长了,也许对你来说也是如此。 我对Google Coral Edge TPU的强大功能感到非常震惊。 但对我来说,最有趣的设置是NVIDIA Jetson Nano与Coral USB加速器的结合。 我肯定会使用这种设置,感觉就像是一个梦想。

说到Google Coral的开发板Dev Board,以及Edge TPU,那就顺便提一下基于Coral Dev Board开发的Model Play。它由国内团队研发,是面向全球 AI 开发者的 AI 模型共享市场。Model Play 不仅为全球开发者提供了 AI 模型展示交流的平台,更能搭配含 Edge TPU 的 Coral Dev Board 进行使用,加速 ML 推理,通过手机实时预览模型运行效果,助力 AI 由原型向产品拓展。

 

 

开发者既能发布自己训练的 AI 模型,也可以订阅并下载自己感兴趣的模型,用于再训练和拓展自己的 AI 创意,实现想法-原型-产品的过程。Model Play 中还预置了各种常用 AI 模型,例如 MobileNetV1、InceptionV2 等,并支持可再训练模型的提交发布,方便用户在自己业务数据上优化微调。

就如谷歌在今年的I/O大会上,号召开发者们,共同为开发社区做出贡献。与此同时,Model Play团队也正在向全球开发者发出了AI模型召集令,征集基于 TensorFlow、可在 Google Coral Dev Board 上运行的深度学习模型,以鼓励更多开发者们参与活动,与全球千万 AI 开发者,分享创意和想法。

©️2020 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值