面向边缘计算的资源优化技术研究进展
屈志昊, 叶保留, 陈贵海, 唐斌, 郭成昊
河海大学计算机与信息学院,江苏 南京 211100
南京大学计算机科学与技术系,江苏 南京 210046
中国电子科技集团公司第二十八研究所,江苏 南京 210007
摘要:以云计算模型为代表的集中式数据处理关键技术已不能高效、及时地处理边缘设备产生的数据。针对这一问题,以“数据处理应更靠近数据源头”为核心理念的边缘计算模型应运而生。首先介绍了微数据中心、微云、雾计算、移动边缘计算等计算范型,并讨论了边缘资源整合的优势。然后,回顾了近年来边缘计算中与资源优化领域相关的工作,以计算、存储和通信3种资源为切入点,分别从计算卸载、分布式缓存和高性能传输这3个研究热点,对国内外的研究进展进行总结和讨论。最后,展望了该领域未来的发展趋势和主要的研究方向。
关键词: 边缘计算 ; 计算卸载 ; 分布式缓存 ; 高性能传输
论文引用格式:
屈志昊, 叶保留, 陈贵海, 唐斌, 郭成昊. 面向边缘计算的资源优化技术研究进展. 大数据[J], 2019, 5(2):17-33
QU Zhihao. State-of-the-art survey on resource optimization in edge computing. Big Data Research[J], 2019, 5(2):17-33
1 引言
近年来,随着信息技术的不断进步以及智能终端设备的不断泛在普及,基于移动物联网的智能化应用蓬勃发展,并在人们日常生活中的诸多方面发挥着重要的作用,如智能电网、智能家居、智慧医疗、多媒体服务、气象预测与灾害预防、车联网等。由于智能终端设备的感知能力不断增强,其感知的数据规模以及数据处理的计算复杂性呈现出爆炸式的增长趋势,这导致传统的基于“中心交付方式”的云计算服务模式难以适应该趋势。据思科公司的数据预测,终端设备规模及其产生的数据规模均呈现出倍数级增长趋势,到2021年,全球范围内将有超过500亿的终端设备,这些设备每年产生的数据量将达到847 ZB。其中,约10%的数据需要通过计算处理,数据中心计算性能正逐渐达到瓶颈。相比而言,全球数据中心的存储能力预计仅能达到2.6 ZB,而网络流量为19.5 ZB。云计算模式下,所有的数据必须上传至集中式服务器,并在计算后返回相应的设备,终端设备数据的爆炸式增长也加剧了网络负载,严重影响服务质量,导致低响应时延、网络拥塞等问题。综上,集中式的云计算模式面临“算不动、存不下、传不畅”的挑战,难以满足终端环境爆炸式增长的数据处理需求。
为缓解数据中心的处理压力、消除计算与通信瓶颈、提升系统的服务质量,一种行之有效的方案是将云服务卸载到距离终端用户更近的位置,这就形成了一种新型的边缘计算范型,其基本架构如图1所示。实际上,终端设备的广泛部署在提升数据感知能力的同时,也为终端环境聚集了大量可用资源,其边缘计算及存储能力呈现倍数级增长。同时,万物互联时代的到来与边缘网络中数据量的飞速增长,促进了终端设备间通信技术的进一步发展,涌现出新型的高数据率、低时延的通信模式,提高了边缘网络的网络传输容量。边缘设备通过通信网络基础设施实现设备互联,并构成一个泛在的边缘网络环境,实现数据的相互收集和交换。因此,利用边缘环境中终端设备的自有资源可以有效地缓解云计算中心的负载。
图1 边缘计算基本架构
业界基于“将计算交付到数据感知源、就近提供智能服务”的思想,从不同的角度对边缘数据处理模型展开了广泛深入的研究。在学术界,针对物联网和内容分发网络(content distribution network,CDN)应用的高通信时延和高带宽成本问题,加州大学伯克利分校提出了微数据中心(micro data center)概念,将小型化的数据中心部署得更靠近应用侧;针对移动计算环境中的网络时延和带宽不足的问题,卡内基梅隆大学提出了位于互联网边缘的微云(cloudlet),将其作为资源门户,为移动计算应用提供实时交互和云服务网关功能。在工业界,5G标准中正式将移动边缘计算纳入其中,在接近移动用户的无线接入网范围内,提供信息技术服务和云计算能力;思科公司提出了雾计算(fog computing)的概念,在云与移动设备之间引入“雾层”,扩展基于云的网络结构。美国国防高级研究计划局(Defense Advanced Research Projects Agency, DARPA)为应对战术环境中的信息实时处理和共享问题,提出了基于网络计算节点的分散计算(dispersed computing),它支持按需从周边节点借用计算资源和网络资源,从而实现任务的快速处理。
实际上,边缘计算的核心理念可追溯到对等网络(peer to peer,P2P)计算和内容分发网络。作为一种计算泛型,边缘计算的基本思想是对边缘设备自有的分布式资源进行充分利用,即在数据感知源建立资源供给机制,为用户提供就近服务,以缓解服务器/数据中心的压力,降低网络传输带宽消耗,并加快数据处理效率,增强服务响应能力。
在万物互联及大数据的环境下,虽然边缘计算范型为计算任务处理带来了新的机遇,但同时也带来了很多技术挑战。边缘环境中的计算任务处理通常需要边缘设备基于分布式协作完成,其核心是对边缘环境中计算、存储、网络资源的高效分配,以实现任务及数据的动态部署,从而在减少资源开销的前提下,满足用户对服务质量的需求。数据规模的增长对资源的协同优化提出了更高的要求。与此同时,边缘网络基础设施的弱连接特征(infrastructure-less)使得数据和任务的迁移面临更加复杂的网络环境,这加剧了分布式协同的复杂度。
考虑到边缘环境中的设备异构性、系统动态性,为了实现资源的高效整合,并适应用户多样化的服务需求,国内外研究者从计算、存储、网络等资源协同优化的角度展开研究,并产生了一系列开创性的进展。为了更好地理解边缘计算中相关的资源优化技术,本文首先介绍边缘计算范型和资源优化的基本理念,进一步,针对边缘环境中计算、存储、通信3种关键资源,从计算卸载、分布式缓存、高性能通信3