论文阅读：Deep Learning in Mobile and Wireless Networking:A Survey

论文阅读：Deep Learning in Mobile and Wireless Networking:A Survey

从背景介绍到未来挑战，一文综述移动和无线网络深度学习研究
近来移动通信和 5G 网络等快速发展，它们的调控与配置因为充满了多样性和动态变化而面临非常多的挑战。因此近来很多研究科学家开始利用机器学习及深度学习加强移动无线网络的配置，以此应对数据量和算法驱动的应用程序的增长。本论文基本是首篇综述深度学习及无线网络交叉学科研究面貌的调研，通过阅读原论文该能够新兴交叉学科有了一个相对全面的了解。

摘要：移动设备的迅速普及以及移动应用和服务的普及对移动和无线网络基础设施提出了前所未有的要求。 即将推出的5G系统正在不断发展以支持爆炸式移动通信量与敏捷的网络资源调配管理，以最大化用户体验以及提取细粒度的实时分析。 随着移动环境日益复杂，异构和不断发展，实现这些任务是具有挑战性的。 一个可能的解决方案是借助先进的机器学习技术来管理数据量和算法驱动型应用的增长。 深度学习最近的成功为这个领域问题的解决带来了新型强大工具。

  本文通过对深度学习与移动、无线网络研究的交叉领域开展综合性研究，填补了二者之间的鸿沟。首先，本文简要介绍了深度学习技术的基本背景和最新进展，以及在网络方面的潜在应用。然后讨论了几种有助于在移动系统上高效部署深度学习的技术和平台。随后，本文对基于深度学习的移动和无线网络研究进行了百科全书式的回顾（encyclopedic review），并按不同领域进行了分类。此外，本文还基于自己的经验讨论了如何根据移动环境定制深度学习。最后明确了当前的挑战和未来的研究方向。

关键词：深度学习，机器学习，移动网络，无线网络，移动大数据，5G系统，网络管理

---

1 introduction

  互联网连接的移动设备正在渗透生活、工作和娱乐的各个方面。智能手机数量不断增加以及不断增多的应用程序引发了移动数据流量的激增。事实上，最新行业预测显示，到 2021 年，全球 IP 年流量将达到 3.3 泽字节( $10^15$ 兆字节)—zettabytes (1015 MB) ，同年，智能手机流量将超过 PC 流量 [1]。由于用户偏好转向无线连接，当前移动基础设施面临着巨大的容量需求。针对这一日益增长的需求，有人建议采用灵活的资源供给方式 [ 2 ]，分布式解决移动管理问题 [ 3 ]。然而，长远来看，互联网服务提供商 ( ISP ) 必须开发智能异构架构和工具，以催生第五代移动系统 ( 5G )，并逐步满足终端用户的迫切需求 [4], [5]。

  移动网络架构日益多样化且复杂性不断提高，监控和管理众多网络元素的问题因而变得棘手。因此，广大研究人员对多功能机器智能嵌入未来移动网络这一课题的兴趣空前高涨 [6]，[7]。这种趋势反映在机器学习（ML）解决方案中，从无线接入技术（RAT）选择 [8] 到恶意软件检测 [9]，以及支持机器学习实践的网络系统的开发（例如 [10 ]，[11]）。机器学习能够从流量数据中系统地挖掘有价值的信息，并自动发现其相关性，这类问题对于人类专家来说太过复杂 [12]。作为机器学习的重要部分，深度学习在计算机视觉 [13] 和自然语言处理（NLP）[14] 等领域取得了卓越的进展。网络研究人员也开始认识到深度学习的重要性，并探索如何将深度学习应用到移动网络领域 [15], [16]。

  我们有充分理由在在 5G 移动和无线网络中嵌入深度学习，尤其在处理移动环境产生的异构数据。因为这些数据通常来源广泛，格式各异，并且表现出复杂的相关性 [17]。传统的机器学习工具需要繁琐的特征工程才能根据这些数据做出准确的推论和决策。深度学习消除了领域专业知识的门槛，因为它采用分层特征提取，该技术可以有效地提取信息并从数据中获取越来越抽象的相关性，同时最大限度地减少数据预处理工作量。基于GPU（图形处理单元）的并行计算进一步使深度学习能够在毫秒内进行推理。这有利于分析网络，提高管理准确度并克服传统数学技术（例如凸优化、博弈论、元启发式）的运行时间限制。

  尽管移动网络领域的深度学习炙手可热，但现有的成果分散在不同的研究领域，缺乏全面而简明的研究。本文通过介绍这两个领域交叉研究的最新调查，填补了深度学习与移动、无线网络之间的鸿沟。除了回顾相关度最高的文献之外，本文还讨论了各种深度学习架构的优缺点，并提出深度学习模型的选择策略，以解决移动网络问题。此外，本文还进一步研究了如何调整DL模型框架以针对特定移动网络任务的方法，以在复杂环境下实现最佳性能的方法。最后，本文指出未来值得深入研究的方向和尚未解决的重要问题，而最终目标是为用深度学习来解决各领域问题的网络研究人员和从业人员提供明确的指导。

  论文结构：如图 1 所示，本文采用自上而下的方式组织文章。首先，本文将讨论围绕深度学习、未来移动网络和使用深度学习构建的网络应用程序进行的高层次概述工作，这些工作有助于定义本文的范围和贡献 (第 2 节)。鉴于深度学习技术是移动网络社区中的新课题，第 3 节给出了深度学习的基本背景，突出了解决移动网络问题的直接优势。许多因素能够促进移动网络应用领域的深度学习实现 (包括专用的深度学习库、优化算法等)。第 4 节讨论了这些促进因素，帮助移动网络研究人员和工程师选择合适的深入学习软硬件平台。

$$图 1：本文图解示意图$$

  第 5 节介绍和比较了最先进的深度学习模型，并提供了网络问题解决方案。第 6 节回顾了近期深度学习领域中移动和无线网络应用，本文将这些应用分为不同的场景，从移动流量分析到安全以及新兴应用。第 7 节讨论了如何针对移动网络问题定制深度学习模型，并强调网络研究中，深度学习应用相关的开放性问题（第 8 节）。本文结尾部分简要讨论移动网络和深度神经网络之间的相互作用（第 9 节）。

---

2 文章相关工作概述及综述范围

  近来深度学习有很多先进的综述性调查或研究，它们都令深度学习尤其是移动端网络架构在终端设备上有很大的提升。一般来说，深度学习的这些进步主要体现在先进的并行计算、分布式机器学习系统、便捷的深度学习框架和高效的最优化方法等。我们在下表 3 展示了这些进步，并在论文中详细讨论它们。

Alt text

$$表 2：与深度学习和移动网络相关的现有调研、学术论文和专著汇总。符号 D 表示该出版物所处的研究领域，✗标记不直接覆盖该领域的文章，但读者可以从中获得一些启发，与深度学习和移动网络相关的出版物都使用阴影表示。$$

our scope：
  本调查的目的是为移动网络领域提供最先进的深度学习实践的全面观点。文章旨在回答以下关键问题：

1）为什么深度学习有望解决移动网络问题？
2）与移动和无线网络相关的尖端深度学习模型是什么？
3）移动网络领域最新成功的深度学习应用是什么？
4）研究人员如何才能针对特定的移动网络问题量身定制深度学习？
5）哪些是值得进一步研究的最重要和最有希望的方向？

  文章超越了以往的作品，特别关注了深度学习和移动网络之间的交叉领域。虽然主要范围仍然是移动网络领域，但为了完整起见，我们还讨论了无线网络的深度学习应用，并确定与这些领域密切相关的新兴应用领域。总体而言，我们的论文与以前的调查区别于以下观点：
  （i）我们特别关注移动网络分析和管理的深度学习应用，而不是广泛讨论深度学习方法（例如在[18]，[19]中）或集中在单个应用领域，例如移动大数据分析与特定平台[17]。
  （ii）我们从移动网络的角度讨论尖端的深度学习技术（例如，[66]，[67]），侧重于它们在这个领域的适用性，同时不太关注或许已经过时的传统的深度学习。
  （iii）我们分析现有的非联网问题与移动网络特有问题的相似之处;基于这一分析，我们提供深入了解最佳深度学习架构选择策略和适应方法的见解，以便利用移动网络的特性进行分析和管理任务。
  作者表示，这是第一次从深度学习的角度来谈移动网络分析和管理的文章。我们还首次提供了有关如何针对移动网络问题量身定制深度学习的见解。

---

3. 深度学习基础

  我们首先简要介绍深度学习，重点介绍该领域计算技术背后的基本原理及其成功的关键因素。深度学习实质上是ML的一个子分支，其中算法通过多层非线性处理单元从原始数据中分层提取知识，以根据某个目标目标进行预测或采取行动。与传统ML相比，深度学习的主要优势在于自动特征提取，从而避免了昂贵的手工特征工程。我们在图2中高层次地阐述了深度学习，机器学习和人工智能（AI）之间的关系。

$$图 2：深度学习、机器学习和 AI 之间关系的维恩图。本调研重点关注移动和无线网络中的深度学习应用。$$
  这门学科追溯到75年前，当时使用阈值逻辑来产生计算模型用于神经网络[68]。然而，直到20世纪80年代后期，神经网络（NN）才得到了人们的关注，因为Williams和Hinton表明，多层神经网络可以通过向后传播错误来有效地训练[69]。LeCun和Bengio随后提出了现在流行的卷积神经网络（CNN）体系结构[70]，但由于当时可用系统的计算能力限制造成了发展的停滞。继最近GPU的成功之后，CNN被用来大幅度降低大规模视觉识别挑战（LSVRC）中的错误率[71]。这使得研究者们对深度学习产生了前所未有的兴趣，突破在各种计算机科学领域不断出现。

A.深度学习的基本原理

  深度神经网络的关键目标是通过单元（或神经元）的简单和预定义操作的组合来逼近复杂函数。这样一个目标函数几乎可以是任何类型的，比如图像和他们的类标签之间的映射（分类），基于历史值计算未来股票价格（回归），或者甚至根据当前状态在棋盘上决定下一步最佳落子（控制）。所执行的操作通常由特定的一组隐藏单元与非线性激活函数的加权组合来定义，具体取决于模型的结构。这些操作与输出单元一起被命名为“图层（layers）”。神经网络结构类似于大脑中的感知过程，其中在给定当前环境的情况下激活特定的一组单元，从而影响神经网络模型的输出。在数学术语中，深层神经网络的体系结构通常是可微分的，因此可以学习模型的权重（或参数），根据基本链规则[69]，使用梯度下降法通过反向传播最小化损失函数。图3中举例说明了深度神经网络的学习和推理过程的原理，我们以CNN为例。
  

图3：4层卷积网络的学习和推断过