什么是嵌入式AI开发？人工智能芯片指什么？STM32、树莓派、Jetson TX2、华为昇腾部署神经网络区别在哪？

愚昧之山绝望之谷开悟之坡

已于 2022-04-24 14:12:07 修改

阅读量2.2k

点赞数

分类专栏：笔记术语文章标签： linux

于 2022-03-08 20:13:51 首次发布

本文链接：https://blog.csdn.net/qq_15821487/article/details/123362066

版权

笔记同时被 2 个专栏收录

730 篇文章

订阅专栏

术语

480 篇文章

订阅专栏

嵌入式芯片：https://zhuanlan.zhihu.com/p/449570075
芯片公司代表：https://www.jiqizhixin.com/articles/2020-01-31-9

在这里插入图片描述

相较于CPU、GPU等通用型芯片以及半定制的FPGA来说，ASIC芯片的计算能力和计算效率都直接根据特定的算法的需要进行定制的，因此ASIC芯片具有体积小、功耗低、可靠性高、计算性能高、计算效率高等优势。所以在其所针对的特定的应用领域，ASIC芯片的能效表现要远超CPU、GPU等通用型芯片以及半定制的FPGA。GPU属于通用型芯片，ASIC属于专用型芯片，而FPGA则是介于两者之间的半定制化芯片，CPU更多是应用与终端设备。

AI芯片按照应用场景又可以分为云端芯片和终端芯片，按照功能可以分为训练芯片和推理芯片。云端指服务器端，终端指包括手机、电脑、监控摄像头、家电、消费电子等在内的电子终端产品。训练指通过大量的数据输入，运用增强学习等非监督学习方法，训练出一个复杂深度神经网络模型的过程，其对芯片运算和存储的综合性能要求很高。推理指利用训练好的模型，使用新的数据去得出各种结论、完成各种任务的过程，其对芯片的速度、能耗、安全和硬件成本要求较高。

按照以上两个维度，可以将AI芯片划分至四个象限。整体算力由高到低包括服务器端训练和推理（如TPU和NPU）、云端推理、终端训练（如英伟达的Jetson tx2）和终端/嵌入式设备以推断应用为主的嵌入式部署芯片（如STM32、恩智浦的i.MX 8系列、max78000等）。

如果说树莓派是一款“即插即用”的单板计算机，那Jetson TX2则是一款功能强大的小型人工智能计算机。除带有256个CUDA核心的GPU，这款功能强大的开发者套件能够使主板的硬件功能和接口充分发挥效用，预装 Linux 开发环境。同时，它还支持 NVIDIA Jetpack SDK，包括 BSP、深度学习库、计算机视觉、GPU 计算、多媒体处理等众多功能。NVIDIA JetPack SDK是构建AI应用程序的最全面的解决方案。它捆绑了所有Jetson平台软件，包括TensorRT，cuDNN，CUDA工具包，VisionWorks，Streamer和OpenCV，这些都是基于LTS Linux内核的L4T。

在这里插入图片描述

AI芯片通常分为三个关键应用领域：云端训练、云端推理和边缘推理。训练方面的大拿是Nvidia的GPU，它已经成为训练机器学习算法的热门选择。训练过程要分析数万亿个数据样本，GPU的并行计算架构在这方面是一大优势。云端推理可以构建许多AI应用的机器学习模型，这些任务需要密集的计算而无法部署在边缘设备上。