推理计算过程_TeamNet:一个边缘协作推理框架

导读

随着无线链路容量的显著增加，边缘设备之间的联系比以往更加紧密。这使得在连接的边缘设备上形成人工神经网络(ANN)联盟成为了可能。此外，是否解决划分问题是分布式神经网络能否推理成功的关键，但是由于大多数神经网络模型的知识表示不明确，划分问题一直没有得到解决。

我们提出了一种基于心理上可行的竞争性和选择性学习方案的新颖的分区方法(TeamNet)，同时与其他现有分布式机器学习方法进行了全面比较，仔细评估了其性能。实验表明，具有套接字和传输控制协议(TCP)的TeamNet明显优于复杂的消息传递接口(MPI)方法和最新的专家混合(MoE)方法。在不影响预测准确性的情况下，ANN推理的响应时间缩短了多达53％。TeamNet对于在连接的边缘设备上分布ANN推理机并为未来的应用形成边缘智能提供了广阔的前景。

在大规模的图像识别任务中，深度神经网络通常消耗几十GB的RAM以及GPU和CPU上的大量算力。它们的资源消耗可以由云环境容纳，但通常无法由单个边缘设备处理，因为它们的处理能力和内存有限。这样的资源消耗可以由云环境来解决。但是由于单个边缘设备有限的处理能力和内存，通常无法进行同样的计算。以NVIDIA推出的人工智能计算平台Jetson TX2为例：Jetson TX2上有256个NVIDIA CUDA核心；而由高性能计算数据中心集团Compute Canada管理的Helios集群具有120个NVIDIA K20 GPU(其每个具有2496个CUDA内核)和96个NVIDIA K80 GPU(其每个具有4992个CUDA内核)。相比之下，其CUDA核心数是Jetson TX2的3042倍。

系统流程

一，模型训练