An Erasure-Coded Storage System for Edge Computing

新兴的计算范式边缘计算希望在网络边缘存储和处理数据,同时减少延迟并改善网络带宽。据我们所知,尚未针对边缘计算研究关键性能问题,例如擦除编码存储系统的编码性能。在本文中,我们提出了一种用于边缘计算的纠删码存储系统。与数据中心和云存储系统不同,它使用边缘设备执行编码和解码操作,由于计算能力有限,它可能成为整个存储系统的性能瓶颈。因此,我们对擦除编码的性能进行了全面的研究,看它是否可以在网络边缘与5G和Wi-Fi 6的网络性能相匹配。我们使用流行的边缘设备Jetson Nano和两个最新的编码库:Jerasure和G-CRS。我们的评估结果显示,对于Jerasure而言,性能不令人满意,而对于G-CRS,则存在较高的方差。为了获得更好和稳定的性能,我们在多核CPU上使用OpenMP加速了擦除代码。
open MP是什么
并行处理
我们的工作表明,加速可以带来稳定的性能,并在某些常用情况下匹配5G和Wi-Fi 6的网络带宽。此外,我们的工作可以更好地理解用于边缘计算的纠删码存储系统,并且可以作为在网络边缘对此类系统进行任何进一步优化的参考。
contributions
总而言之,我们做出了以下贡献:
1)我们提出了一种用于边缘计算的纠删码存储系统的设计,引入了减少的存储开销并在网络边缘保持了高可靠性。
如何减少的存储开销?
纠删码??边缘的数据是不是需要备份????

2)我们进行了广泛的实验,以验证擦除编码的性能是否可以与边缘设备Jetson Nano上具有两个最新擦除编码库的网络带宽5G和Wi-Fi 6相匹配:Jerasure和G-CRS。
3)为了在网络边缘为擦除编码带来更好,更稳定的性能,我们在具有OpenMP的多核CPU上设计并实现了并行解决方案
4)我们的工作可以更好地理解用于边缘计算的纠删码存储系统,并且可以作为在网络边缘对该系统进行任何进一步优化的参考。
边缘计算的存储概述

  • 数据生成器
    -数据生成器可以是在网络边缘生成数据的各种移动设备和传感器。 生产者可以是执行24小时监控的摄像机,可以通过其传感器不断生成数据的车辆以及可以生成图像和视频的手机。 这些设备正在产生数据,但是它们没有执行擦除编码任务的计算能力,因为使用它们执行擦除编码任务会极大地损害其服务能力。 例如,使用手机进行编码时,它无法及时响应用户的互动。 而且某些设备(例如相机)本身没有计算能力来执行计算。 结果,当数据生产者将其数据上传到存储集群时,将使用用于计算的边缘设备执行编码工作。
    这个边缘设备是啥玩意??

  • 数据访问器
    数据访问器是检索存储在存储集群中的数据的设备。 可以通过网络下载数据的任何设备都可以成为数据访问者。 当没有丢失的数据时,数据访问者可以直接访问存储集群以获取所需的数据,这称为“正常读取”。 但是,当某些存储服务器在存储集群中发生故障时(根据现有研究可能不断发生),在将任何丢失的数据发送到访问器之前,可能需要进行解码操作,该访问器在图中称为“降级读取”。
    == 在这种情况下,我们需要边缘设备为数据访问者执行解码操作。==
    边缘设备解码能力不够啊????
    可以搞
    内存不够啊?
    下载过来这么多网络不够啊????

  • 边缘设备
    边缘设备是部署在数据生产者,数据访问者和存储集群之间的计算设备。 任何计算任务都将卸载到边缘设备以执行。
    当数据生产者将任何数据上传到存储集群时,它将数据发送到边缘设备以执行编码操作,然后边缘设备将数据存储到存储集群。
    当数据访问者需要解码时,边缘设备从存储群集中检索所需的数据,然后执行解码,并将还原的数据发送到数据访问者。 由于边缘设备参与了擦除编码存储系统的读写操作,因此它们的编码和解码性能对于整个存储系统至关重要。
    4)

  • 存储集群
    存储集群由许多存储服务器组成,用于存储在网络边缘生成的数据。 传统上,存储集群部署在数据中心和云计算平台中。 但是,为了减少访问延迟并改善数据生产者,数据访问者和存储群集之间的网络带宽,必须将其部署在网络边缘。 可以由Internet服务提供商和正在构建边缘云的云服务提供商来构建存储集群。 它也可以是网络边缘的对等存储系统。
    与带有纠删码的存储系统相比数据中心和云存储,用于边缘计算的纠删码存储系统的主要区别在于,它采用边缘设备执行编码和解码操作,如图4所示。
    测量了那些数据
    packet size/吞吐量
    延迟/block size

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值