论文笔记1 2020.01.26

论文笔记 1

用于记录看论文《Software-Defined Networks with Mobile Edge Computing and Caching for Smart Cities: A Big Data Deep Reinforcement Learning Approach》之后的收获。

解决了什么问题？

智慧城市正在成为全球研究和发展的重点，为市民提供更高的生活质量和各种创新的服务应用。在networking、caching和computing方面已经完成了一些出色的工作，但在现有的智慧城市工作中，这三种重要的启用技术传统上是分开研究的。在本文中会将networking、caching和computing联合起来考虑，在提出的框架下将资源分配策略定义为一个联合优化问题，提出一种新的大数据深度强化学习方法。

用了什么方法？

文中基于源自SDN的可编程控制原理，吸收了源自ICN的信息中心的思想，提出了一个集成框架。在文章中采用了Double DQN算法来解决问题。在系统模型中，有k个BS，m个MEC服务器，c个缓存。它们由MVNO虚拟化和管理，并为智慧城提供服务。由MVNO负责从每个BS，MEC服务器和内容缓存器中收集状态，然后将所有的信息组合为系统状态，而后，MVNO将构建的系统状态发送到agent（即深层Q-network），并获得针对为特定用户安排哪些资源的最佳策略的反馈。得到了action之后，MVNO会告诉用户哪个虚拟网络它可以访问。
对于状态，可用的BS的状态，MEC服务器的可用状态，可用缓存的状态都包含在内，对于动作，agent必须决定将哪个BS分配给用户，所请求的内容是否在BS中缓存，以及计算任务是否该卸载到MEC服务器。系统奖励是MVNO的综合收入，它由接入无线链路的接收信噪比（SNR），计算能力和缓存状态的函数表示。

有什么亮点？

将networking、caching和computing联合起来考虑，由于考虑了现实的场景，因此BS的下行链路信道状况，MEC服务器的计算能力以及高速缓存的状态存在动态变化，也就意味着MVNO面临着大量的系统状态，传统的方法几乎不可能解决这个复杂的任务。文中就提出了用深度强化学习的方法去解决问题，最后仿真的结果表明文中提出的方法效果良好。

有什么不足？

本文旨在解决资源分配方面的问题，但是没有考虑到能效等方面的问题。