论文笔记3 2020.1.31

论文笔记3

此篇博文用来记录阅读论文《Deep reinforcement learning for mobile edge caching:Reniew,new features,and open issues》后的收获。

论文主要内容

感觉这篇论文比较像一篇综述。文章对移动边缘缓存中有关DRL的最新研究进行了综合分析。首先介绍了边缘缓存的基本知识，并总结了实现context-aware 和智能所面临的的关键问题。其次回顾了最先进的learning-based的移动边缘缓存方案。这些方案主要分为两类：基于流行预测的方法和基于DRL的方法。举例说明这两类方案的不同之处，并讨论他们的优缺点。第三，在概述了DRL算法之后，讨论了DRL方法在移动边缘缓存中的应用，最后讨论了基于DRL的移动边缘缓存的几个有待解决的问题。

解决了什么问题

文中主要是想要针对移动边缘缓存存在的问题提出解决方案，移动边缘的操作环境是十分复杂的，复杂的操作环境很难建模，文中提出了一种context-aware 和intelligence的移动边缘缓存方案。context-aware使得每个缓存主机能够感知其操作环境，而intelligence则能使每个缓存主机在适当的时间做出正确的决策选择要缓存到有限存储空间的适当内容，以最大的限度提高缓存性能。在文中主要提倡用DRL来实现此方案，并选择了A3C算法。

一些有待解决的问题

1.将深度模型整合到基于DRL的移动边缘缓存中
过渡模型允许模拟环境而无需与环境直接交互。可以通过深度学习获得动态移动边缘缓存环境的预测模型，那么DRL代理就可减少与实际环境的交互，并加快其学习速度。
2.多个缓存代理之间的协作
多个边缘节点可能具有重叠的覆盖范围，其中每个请求仅需要由一个边缘节点满足。而且，缓存的内容可以在相邻边缘节点之间共享。
3.利用其它领域的知识
例如转移学习和DRL的结合在构造更有效的缓存策略方面更具优势。
4.适应环境动力学
在移动边缘网络中，环境可能会突然改变。