SuperEdge再添国产智能加速卡支持，为边缘智能推理再提速10倍

作者

寒武纪AE团队，腾讯云容器中心边缘计算团队，SuperEdge 开发者

SuperEdge 支持国产智能加速卡寒武纪 MLU220

SuperEdge 对应的商业产品 TKE Edge 也一直在硬件和加速方面在持续耕耘，不但支持 NVIDIA 系列 GPU的加速，还在 GPU 虚拟，QGPU 化等方面持续发力。本次联合寒武纪对国产智能边缘加速卡进行了支持，以利于用户在边缘进行模型训练和边缘智能推理性能的提升。下面是经过寒武纪 AE 团队和 SuperEdge 开源团队的联合测试，对国产寒武纪边缘计算加速卡兼容性的联合声明。

中科寒武纪科技股份有限公司的边缘智能加速卡 MLU220-M.2和分布式边缘容器管理系统 SuperEdge 与相互兼容，能够对搭载M.2的边缘设备在视频、图像、语音等应用上提供数十倍的加速能力， 在此发表联合声明。

下面给出两个分类网络在 CPU 和 M.2 上的吞吐性能对比。

网络模型	M.2(fps)	CPU(fps)
vgg16	184	13
resnet50	417	29

可以看出 vgg16 M.2 是普通 i7-8700K的14倍，Resnet50 也是普通 i7-8700K 的14倍。

其中，CPU 采用的是 Intel(R) Core(TM) i7-8700K CPU @ 3.70GHz

SuperEdge 边缘容器解决方案

SuperEdge 是2020年12月腾讯云联合英特尔、VMware 威睿、虎牙、寒武纪、美团、首都在线发布的基于原生Kubernetes 的边缘分布式容器管理系统。该系统把云原生能力扩展到边缘侧，很好的实现了云端对边缘端的管理和控制，极大简化了应用从云端部署到边缘应用的过程。2021年9月已被 CNCF 基金会接受，成为 CNCF Sandbox项目，由 CNCF 监管和运维。

SuperEdge提供了如下能力：

边缘自治

云边网络往往是弱网络，中间可能是有线、无线、WIFI……连接，可能是4G、5G网络，云边断链是常态。断连时间不定，短则三五分钟，长则数小时、几天，那么如何保证边缘服务不被驱逐，继续提供正常服务呢？ SuperEdge 的边缘自治能力，可以保证云边断连的情况下，边缘服务继续稳定运行，即使边缘节点断电重启，也能自动恢复已经部署到该节点的边缘服务继续运行。

分布式健康检查

SuperEdge 提供的边缘分布式健康检查能力有两个作用：

• 只要边缘节点正常，边缘服务就不会驱逐 SuperEdge 会在每个边缘节点部署一个 edge-health 的 deamonset，同一个边缘 Kubernetes 集群的节点会定期 Check 彼此，对彼此的健康性进行投票，并将投票结果反馈到云端。即使边缘 Kubernetes 集群的一个节点云边网络断连，其他节点也会把他的健康性反馈到云端，就不会对该节点进行驱逐。
• 可分组进行分布式健康检查 即