集成了神经网络推理单元的一些嵌入式算力平台

chenyq14

已于 2024-09-14 18:27:49 修改

阅读量427

点赞数 22

文章标签：神经网络人工智能深度学习

于 2024-09-14 18:24:49 首次发布

本文链接：https://blog.csdn.net/chenyq14/article/details/142263626

版权

描述了一类用于作为机器视觉推理的嵌入式平台，所以这类平台理应有一些共同特点：

都有千兆网口，支持工业相机Gige接入。
都有PCIE，甚至PCIE3x，便于扩展各种外设，比如cameralink采集卡。
都有ISP，针对sensor的raw数据处理的的各种硬件算法。
特别的都应该有神经网络推理单元，他们的名字可能各不相同TPU，NPU，MPU，KPU。

我个人的感觉是，24年开始最迟明年，各家慢慢都在放出带AI功能的芯片，应该都是憋着较劲中，哪怕Intel，也在跟进这个趋势。这类型我觉得不应该完全归于ipc，ipc更加低端，而且更加鱼龙混杂，很多小厂用RV核做的价格可以低到咋舌；而这类型的算力平台虽然都有isp可以做高端ipc，但是，如果你是做ipc，你带pcie host干嘛？我是有点虽然覆盖了ipc又有点志不仅仅在此的感觉。

瑞芯微

目前比较主流的平台是瑞芯微，RK3588成为不少新方案芯片的对比目标，其有6T的算力运行yolov5算法时候，对于640x640分辨率可以轻松跑到40ms以内，320x320分辨率甚至10ms以内，对一些视觉识别的产品而言，其性能足以覆盖大部分需求，但价格太贵了，此芯片推出有一些年头了，价格没有随之走低多少，整体物料成本非常容易超过1000多，这已经逼近了x86酷睿平台，甚至超过了一些x86赛扬平台。

瑞芯微新推出的RK3576芯片，算力指标接近RK3588，价格会拉低一些。另外还有算力指标为2T的RK356x系列，其中RK3562的价格更是大大降低，实际测试单路相机使用也能满足基本需求。

RK3588的6T是由3个2T组成，可以多相机同时运算，实测了2路。RK3562的2T算力适合单路相机，而且测试时候要注意CPU，GPU，NPU的时钟频率要拉满到最大值，因为在送入NPU运算时候，相机的实际分辨率的画面需要先resize成640x640或者320x320，resize是需要硬件完成的否则很慢，在RK平台resize用的是GPU。

瑞萨

已经看到了瑞萨的RZ/V2H, RZ/V2N, 他们的AI硬件加速叫DRP-AI3或者AI-MPU，类比RK的NPU，比较有特点的是除了对AI加速，还对OpenCV做了硬件加速，整体算力标称是8T（int8）或者80T(int4)，跟RK3588应该是一个级别选手。还有一个特点是，瑞萨不仅仅针对视觉AI，还有一套Reality AI接近方案，对工业场景中各种采集的信号运用AI算法，比如电机的一些控制方法上，设备的故障诊断上，这个其实是很好的探索。

我们以前针对汽车传感器各种数据进行分析的时候，海量的数据分析挺缺少方法的，其中有一个需求是从采样点应力变化上分析出车的负载重量，因为汽车是在运动的而且有各种坡度的运动，所以难有一个简单的方法，最后想来想去只能用ai方法，这个需求对瑞萨的这套方案其实就挺合适的。

不过这样的场景技术的复杂度不是主要的难题，数据采样的复杂度才是真正的阻碍，视觉场景可以花钱请人打标，行业里面不会这么简单，各种车型各路公司，没有下沉到行业是无法获得有效数据的。

瑞萨的平台没有实际测试过，没有实际的数据，另外这家是日本的，对一些需要国产化的场景就不行。