文章翻译-2017-IEEE ICC-A Neural-Network-Based Realization of In-Network Computation for IoT

Network-Based Realization of In-Network Computation for IoT

摘要

摘要—超高密度物联网(IoT)网络和机器类型通信预示着新计算范式的巨大机遇，并成为互联网演变中深刻变化的催化剂。我们探索利用物联网内的通信，通过适当地塑造网络的聚合行为来并行更传统的计算方法，从而为数据处理服务。本文介绍了这一愿景的一个要素，即我们将人工神经网络的操作映射到物联网网络的通信上，以实现同步数据处理和传输。也就是说，我们提供了一个框架，将网络整体视为人工神经网络，而不是将神经网络放在网络中。神经网络组件(神经元和神经元之间的连接)的操作由物联网网络的各种元素(即设备及其连接)执行。所提出的方法通过消除向远程数据处理站点传输的需求，减少了传递已处理信息的延迟，并支持物联网固有的信息局部性。

引言

由于下一代低功率射频收发器和微控制器在尺寸、重量、功率和成本方面的制造进步，物联网技术正在快速发展。这些进步与单个封装的设计和制造相结合，实现了高度集成的片上系统。因此，物联网网络在各种领域都有显著增长，预计到2020年，物联网设备的数量将增长至约200亿台[1]。
然而，目前的物联网节点大多是要在别处消费的原始数据的被动生产者。信息通常通过网络到达雾收集器或云，除了在源[2]进行预处理之外，没有其他处理。根据应用，远程处理和聚集的数据然后被转发回致动器设备，该致动器设备通常位于起始传感器节点的地理邻近处。物联网网络的集体能力只能通过聚合和分析不同设备产生的信息来利用。然而，超密集物联网网络和机器类型通信预示着新计算范式的巨大机遇，并正在成为互联网演变中深刻变化的催化剂。一个这样的例子是利用网络来执行传统的计算功能，如处理和存储，以有效地将数据转换成信息。
在本文中，我们利用物联网网络的集体行为，在通信的同时执行计算，从而释放物联网网络作为集成计算和通信系统的潜力，而不仅仅是作为信息的生产者和/或处理信息的最终消费者。特别是，我们提出了一个将计算过程映射到通信过程的框架，允许物联网节点在数据流经网络时协同处理数据。通过将整个网络视为一台计算机，而不是将计算元素放在网络中，一旦信息到达其预期目的地，就不需要进一步的处理。作为这一概念的第一个实现，本文将人工神经网络的计算方法映射到物联网网络中的通信。通过与典型人工神经网络的计算方法并行形成通信过程的聚合行为，我们提出了真正分散的物联网网络，该网络支持计算智能。
所提出的方法有两个优点:(1)它减少了传递已处理信息的等待时间；(二)支持物联网固有的信息局部性。当物联网设备收集的数据用于自动或半自动控制应用时，延迟要求尤其重要。在这种情况下，处理过的信息的消费者可能位于感测设备附近。通过将处理推入物联网设备，所提出的方法避免了将信息转发到外部系统，然后再转发回物联网网络，从而显著降低了整体延迟。同样的机制还保留了对隐私和安全很重要的信息的位置。
我们采用前馈神经网络作为通用并行处理器的参考框架，由物联网网络实现。事实上，由前馈神经网络执行的计算可以被划分为不同的任务以供并发执行，该前馈神经网络可以任意好地逼近任何可测函数。所提出的框架利用这些特征来处理数据，同时优化物联网网络中资源的使用。在我们的模型中，神经元中执行的所有计算都被视为原子计算任务，这些任务被分配到多个物联网节点，具体取决于每个节点的可用资源、物联网网络的连通性以及网络中信息的生产者和消费者。

IOT的数据处理架构

物联网概念的目标是提供一种机制，从信息的角度将物理事物与其他物理事物联系起来。互联物体的概念源于射频识别技术和无线传感器网络的使用。这些初始领域的发展为物联网提供了跳板，提供了可通过通信功能唯一识别的物理对象。将这些对象连接到设备驱动的网络中，传感器设备直接与执行器交互，形成物联网概念的核心。
由于网络边缘的设备直接相互交互并与环境交互，边缘计算对于支持物联网运行变得越来越重要[3]。Buyya等人[4]注意到基于云的计算方法的持续趋势，但是使用这种方法来满足无处不在的设备的需求本质上受到通信网络瓶颈的限制[5]。避免这种瓶颈促使计算资源向网络边缘转移，进入更小、更局部的计算中心，如雾计算方法[2]所建议的那样。事实上，雾计算的支持者称赞该架构能够提供典型物联网应用所需的低延迟计算支持[6]，[7]。为此，一种新的雾计算概念[8]应运而生，它将计算推向甚至超越雾计算的边界，直接进入物联网设备。我们直接利用边缘设备之间的通信来服务于计算的方法是这一趋势的最大实现。我们注意到物联网为将计算转移到网络的最远边缘提供了强大的力量。
在雾计算的背景下，几个作品提供了如何实现周长计算的更详细的检查。例如，洪等人在[9]中提供了一个动态扩展雾资源以适应物联网工作负载的编程模型。其他工作考虑了计算任务的分解，以便跨雾资源部署，并可能扩展到雾中[10]，[11]。这些典型例子中的每一个都将计算任务分成适合在网络内的各种平台上部署的部分。在这些著作中，作者认为通信网络只是计算平台之间交换数据的工具，而没有考虑支持计算的网络拓扑或操作，即计算和通信在当前文献中被认为是独立的过程。通过联合考虑通信和计算，我们的方法超越了以前的工作。
边缘计算还利用了物联网固有的信息局部性。在一个有几个参与者的系统中，信息的本地化一直是多智能体系统领域感兴趣的话题，作为提高整体系统性能的一种手段[12]。在这一领域，研究的重点是基于每个元素从根本上访问不同信息的概念，适当地构建系统元素之间的交互。例如，[13]使用信息局部性的概念来捕捉网络中元素的局部性能。最后，Ziegeldorf等人的工作[14]提醒我们，信息本身的位置对与手头信息相关的服务的隐私有影响。事实上，我们的工作通过将计算结构与感兴趣的位置相匹配，直接考虑了物联网网络中设备可用信息的本地性质。

框架

提议的框架利用物联网网络的计算和通信能力，通过将神经网络的不同组件(神经元和神经元之间的连接)分配给物联网网络的各种元素(设备及其连接)来处理收集的信息。换句话说，基本思想是将神经元映射到物联网节点，并将神经元之间的连接映射到无线链路。应当注意，物联网设备可以实现一个或多个神经元，并且两个神经元之间的连接可以通过多个无线链路来实现。我们的映射框架是由通过隐藏神经元将信息从输入节点传递到输出节点的成本最小化驱动的，这取决于每个设备的能力和物联网网络的连通性。“成本”是一个通用术语，指任何性能指标；我们将在第三部分探讨两种可能的选择。
框架的第一步是识别物联网网络中的输入和输出节点，这取决于具体的应用。需要注意的是，同一个物联网网络可以实现多个应用，每个应用都可以运行一个独立的框架实例。第二步需要选择和训练实现感兴趣功能的神经网络。此步骤离线执行；在整篇论文中，假设有一个合适的神经网络作为优化框架的输入。第三步涉及生成物理物联网网络的表示，即物联网拓扑和每个节点可用的资源(例如，作为剩余存储器和/或可用功率的函数)。物联网网络的连通性可以根据设备的接近度和设备的当前功率水平以及标准路径损耗和干扰模型来抽象。相关的网络状态信息还包括与使用链路相关的成本(例如，发射功率、链路延迟等)。).最后一步是优化映射，这将在下面详细描述。

A.变量和参数

G(N，E):物联网网络拓扑，其中N是节点集，E是边集。
xi，j:二进制变量，如果选择节点I作为隐藏节点j，则取值“1”。
dk，j:节点k和j之间的最佳路径的成本。
S:训练神经网络的源节点集。
H:训练好的神经网络的隐藏节点集。
O:训练好的神经网络的输出节点集。
T(i):可映射到节点I的隐藏神经元数量的上限.

B.约束

实现神经网络的物联网设备和无线路径的选择受到每个物联网设备上的资源使用的约束，这形成了最优映射问题的搜索空间。所施加的约束条件是，每个物联网节点I最多只能作为T(i)个隐藏神经元运行，其中T(i)是节点可用资源和节点中其他活动进程要求的函数:

此外，为了确保映射模型的完整性，额外的约束确保每个隐藏神经元只能选择一个物联网节点:

C.目标函数

我们考虑了神经元到物联网节点的最佳映射的两个目标函数:1)最小化通信的总成本，2)最小化通信的最大成本。在第一种情况下，如果G中每个边的权重对应于节点之间的发射功率，则通信的总成本对应于将处理后的信息传送到输出节点所需的总发射功率。在第二种情况下，如果G中每个边的权重对应于节点之间的预期传输时间，则目标函数对应于将处理后的信息传递到输出节点的最大传输时间。
发射功率目标函数由下式给出:
鉴于，发射时间目标函数由下式给出:

最佳映射机制的示意图如图1所示。最佳映射可以表述为上述整数线性规划，它识别充当隐藏神经元的物联网节点，以及物理物联网拓扑上从输入到输出通过隐藏神经元的最佳路径。最优映射模型目标函数的选择取决于物联网网络的应用和具体场景。

案例研究

我们现在针对上一节中定义的两个目标函数，研究建议框架在各种物联网网络拓扑中的行为。在所有情况下，假设所有输入和输出节点不能作为隐藏神经元工作(即T(i) = 0，∀i ∈ S ∪ O)，而所有其他物联网节点最多只能作为一个隐藏神经元工作。我们使用CPLEX协同库来寻找线性优化问题的最优解。
我们首先考虑一个正方形的N × N格子拓扑。除了它的简单性和一般性之外，我们选择了网格拓扑，因为它代表了许多真实世界场景的良好匹配，例如停车传感器网格，我们希望为其估计短期占用率。拓扑图的边根据选择的目标函数进行加权，尽管在我们的实验中所有的边都具有相同的权重1。在图2的左侧示出了我们的框架在这种拓扑上的应用的说明性例子，其中随机选择三个传感器节点作为神经网络的输入，并且另一个节点被标记为输出，例如，作为需要根据神经网络计算的结果执行特定操作的致动器节点。
为了研究我们的框架在信息局部性方面的优势，我们进一步限制输入和输出节点只能从网格的一个象限(例如网格的右下四分之一)中选取。接下来，我们比较了输入和输出节点之间的最长消息传递路径的长度，使用了第三小节中提出的目标函数和基线集中方法。特别是，在两种分布式场景中，来自输入节点的消息需要到达隐藏神经元节点进行中间处理，然后才能转发到输出节点；而在集中的情况下，消息需要在期望的结果被发送到输出节点之前到达位于网格中间的网关(或者被发送到云以进行处理，或者等效地，受益于雾计算处理)。因此，在本实验中，我们研究了扩大网格大小和增加隐藏神经元与输入节点的比率对最长输入输出路径长度和网络中感兴趣的消息所经历的最大延迟的影响(忽略冲突和重传的影响)。
我们对每个场景运行了500次，并对结果进行了平均，如图3所示。显而易见，我们的方法允许我们在任何适用的情况下充分利用信息的局部性，即当输入和输出节点在网络中聚集在一起时，与集中式解决方案相比，减少了消息行进的路径，即使当感兴趣的计算所需的隐藏神经元的数量高达输入节点数量的两倍时也是如此。当然，这种扩展的分散处理的代价是发送消息数量的增加，在我们这里考虑的每个设备一个隐藏神经元的简单情况下，这将等于|H| × (|S| + |O|)。请注意，正如预期的那样，发射时间目标函数产生的解决方案的最长路径比发射功率目标函数的路径略短，但代价是总消息数略高。
我们还设计了一个实验，其中两个密集连接的子网通过有限数量的连接边连接在一起，例如，工业综合体的两层，每层都有一个网状传感器网络，在一些网关点相互连接。更具体地说，我们创建了两个独立的拓扑结构，其中任意一对节点之间的边以概率p相加，从而决定了图的密度。然后，通过在两个子网各自的节点之间创建少量固定数量的附加连接边来连接这两个子网，以便在两个原始子网之间获得具有少量网关链路的单个连接拓扑。从其中一个子网络中随机选择三个输入节点，从另一个子网络中选择一个输出节点，以评估连接边缘瓶颈对映射算法的影响。隐藏神经元的数量设置为5。图2的右侧示出了p = 0.5的复合图的说明性示例，从该示例中可以看出，两个目标函数在拓扑上聚集隐藏神经元的方式不同。
为了更好地理解这一点，我们为两个子网络场景运行了一个更大的模拟活动，其中我们跟踪了放置在“输入”子网络(即，我们从中选取输入传感器节点的子网络)和“输出”子网络中的隐藏节点的数量，以及两个优化算法中的每一个在1000次迭代中使用的连接边的数量，以及p值的增加，即对于越来越密集的网络。结果如图4所示；具有95%置信度的误差幅度不包括在图中以保持可读性，但总是在所示结果的1%以内。使用发射功率目标函数时，隐藏节点大多位于输入网络中，并且趋势随着图形密度的增加而增加。另一方面，在传输时间目标函数的情况下，隐藏的神经元在输入和输出网络之间更均匀地共享。因此，平均而言，基于传输时间的映射倾向于在两个网络之间使用更多的连接。最后，对于p值，连接边的使用似乎基本上是恒定的，对于完全连接的子图，只有轻微的增加。
原文链接：链接: link.