纠删码
咩咩姐
这个作者很懒,什么都没留下…
展开
-
主动和被动路由
被动路由协议:任何网络层地址提供信息,分组能够基于寻址方案从一台电脑发到另一台电脑。不自动搜寻网络,需要手动配置,一旦所有路由器都了解了所有的网络,被动路由器就可以用来发送数据包,IP和IPV6就是被动路由协议主动路由协议:路由器在互联网上动态找寻所有网络,确保所有路由器有相同的路由表的协议。有RIPV1\\\\v2OSPFEIGRP...原创 2020-11-08 10:13:20 · 1154 阅读 · 0 评论 -
无线网络中的单跳和多跳
在传统的无限局域网中,每个客户端均通过一条与AP链接的无限链路来访问网络,用户如果要进行相互通信的话,碧血首先访问一个固定的接入点,这种网络称为单跳网络(sigle-hop)多跳在无线网络中,任何无限设备点都可以同时作为AP和路由器,网络中的每个节点都可以发送和接受信号,每个节点都可以与一个或多个对等节点进行直接通信。源节点到目标节点之间通过多跳组成。在路径上充当中间节点和转发节点。所以他们有两个作用:1、充当端节点产生或接受数据分组2、充当路由器,对其他节点的数据进行转发。现有的.原创 2020-11-08 09:44:29 · 3852 阅读 · 0 评论 -
Repair Pipelining for Erasure-Coded Storage(ATC‘17)
修复流水线EC提高性能。那些性能修复的时间快更改的本身hdfs的代码少跨存储节点的小型单元中,对失败数据进行流水线修复在同构环境下对相同数量的数据修复时间减少到与进行正常读取的时间大致相同扩展到异构环境中异构指的是什么指带宽异构能够提高降级读取和全节点恢复的性能。一、introduction之前的研究:减少修复通讯设计快速修复方法(延迟修复or并行部分修复)缺点修复时间高于正常读取的时间。提出的方法把EC修复以小单元的形式输送到各个存储节点(借鉴虫洞路由思想)多原创 2020-07-23 17:29:37 · 593 阅读 · 0 评论 -
Raptor Codes Based Distributed Storage Algorithms for Wireless Sensor Networks(2008.B会基础上扩展到raptor)
我们考虑具有n个节点的大型无线传感器网络中的分布式存储问题,其中k个获取(感知)独立数据。 目标是在整个网络上传播获取的信息,以便n个传感器中的每一个存储一个可能的编码数据包,并且稍后可以以计算简单的方式从某个节点的(1 +ǫ)k个节点中恢复原始k个数据包。 E>0。我们提出了两种基于Raptor码的分布式存储算法来解决此问题。 在第一种算法中,所有传感器都具有n和k的知识。 在第二篇文章中,我们假设没有传感器具有这样的全局信息。由于传感器通常由于能量有限和恶劣的环境而易受攻击,因此希望在整个网络上原创 2020-08-15 22:32:22 · 132 阅读 · 0 评论 -
Fountain Codes Based Distributed Storage Algorithms for Large-scale Wireless Sensor Networks(B会2008)
我们考虑具有n个节点的大规模网络,其中拥有k个信息包(例如,已经以某种其他方式感知或收集了k个信息包)。 在网络节点由于例如能量有限或敌对环境而易受攻击的情况下,希望在整个网络中分布所获取的信息,以便n个节点中的每一个存储一个(可能是编码的)数据包 原始的k个源数据包随后可以通过计算简单的方式从任何(1 +E)k节点中恢复,并且对于某些小small> 0...原创 2020-08-15 16:46:38 · 167 阅读 · 2 评论 -
Network Coding for Distributed Storage Systems
分布式存储系统EC所需的冗余度比简单复制要少。但是,由于片段必须在节点发生故障时定期更换,因此一个关键问题是如何以分布式方式生成编码的片段,同时在网络上传输尽可能少的数据。对于擦除编码系统,从单个节点故障进行修复的常见做法是让新节点重构整个编码数据对象,以仅生成一个编码块。我们显示此过程是次优的。我们介绍了重新生成代码的概念,该概念允许新节点与尚存的节点通信存储的数据的功能。我们证明重新生成代码可以显着减少修复带宽。此外,我们表明在存储带宽和修复带宽之间存在一个基本的权衡,我们在理论上使用适原创 2020-08-06 19:37:38 · 308 阅读 · 0 评论 -
喷泉码的基本思想
LT码的历史:2002年Luby就提出了喷泉码的概念基本思想:将随机数量的原始数据包进行异或运算,并产生一个新的数据包,即编码数据包。一个编码数据包所包含的源数据包的数量称为编码数据包的“度”。(度是一个整数,由度分布函数随机生成。)编码端可以不停地产生随机的编码数据包,而译码端可以从一定数量的编码数据包中译码出所有的源数据。步骤:根据度分布函数随机生成一个整数d,d就是此次编码过程要产生的编码数据包的度数。(编一个包换一次) 一个性能好的度分布要保证每一个译码过程中每一.原创 2020-08-06 16:49:48 · 1405 阅读 · 0 评论 -
Cross-Rack-Aware Single Failure Recovery for Clustered File Systems(2020‘A)
由于其在大规模存储系统中的普遍性,如何提高单故障恢复的性能一直是一个活跃的研究主题。我们认为,当擦除编码部署在群集文件系统(CFS)中时,现有的单个故障恢复设计在不同方面受到限制:忽略CFS体系结构中的带宽多样性属性,针对特定的擦除代码构造,并且不对负载进行任何特殊处理恢复期间保持平衡。在本文中,我们提出了CAR,一种跨机架感知的恢复算法,旨在提高采用Reed-Solomon码实现一般容错能力的CFS的单次故障恢复的性能。对于每个stripe,CAR都会找到一种恢复解决方案,该解决方案可以从最少数量的机架原创 2020-08-03 09:31:36 · 152 阅读 · 0 评论 -
Practical Performance Evaluation of Space Optimal Erasure Codes for High‑Speed Data Storage Systems
由于擦除代码已在大多数大型数据存储系统和应用程序中广泛采用,因此近年来高性能擦除代码的实现已得到显着改善,尤其是通过采用英特尔的Streaming SIMD Extensions(SSE)指令。扩大Plank等人的调查工作。 (Fast,9:253–65,2009)进行了将近十年,本文比较了三种开源或公共领域擦除编码库的实际性能,即Jerasure和Intel的ISA-L的RS代码以及STAR代码的实现。本文的目的是为数据存储从业者提供指南,以便他们为需要在GBs / s数量级的编码和解码操作中需要高性能的原创 2020-08-03 09:03:47 · 97 阅读 · 0 评论 -
An Erasure-Coded Storage System for Edge Computing
新兴的计算范式边缘计算希望在网络边缘存储和处理数据,同时减少延迟并改善网络带宽。据我们所知,尚未针对边缘计算研究关键性能问题,例如擦除编码存储系统的编码性能。在本文中,我们提出了一种用于边缘计算的纠删码存储系统。与数据中心和云存储系统不同,它使用边缘设备执行编码和解码操作,由于计算能力有限,它可能成为整个存储系统的性能瓶颈。因此,我们对擦除编码的性能进行了全面的研究,看它是否可以在网络边缘与5G和Wi-Fi 6的网络性能相匹配。我们使用流行的边缘设备Jetson Nano和两个最新的编码库:Jerasure原创 2020-08-03 08:31:54 · 194 阅读 · 0 评论 -
BFT-Store: Storage Partition for Permissioned Blockchain via Erasure Coding(icde’2020)
这篇论文主要是概念新颖,纠删用在区块链测试了存储开销请求延迟计算开销没有算原创 2020-08-02 17:01:27 · 523 阅读 · 0 评论 -
Fast Erasure Coding for Data Storage(fast‘19、TOS‘2020)
怎么快速的跟流水线比了吗?用了什么样的方法?共同使用之前提出的纠删码单独的全面评估哪几种?EVENODD代码[3],RDP代码[7],Linux Raid-6 [16],STAR代码[9]和Quantcast-QFS [14]代码。如何做的测试快到什么程度目前的纠删都是什么速度?如何优化计算链什么叫做在新的cup上迁移工作最少?为什么文献中已经提出了各种技术来提高擦除码的计算效率,包括优化位矩阵设计和计算时间表,通用XOR(异或)操作减少,缓存管理技术和矢量化技术。这些技术主要是单..原创 2020-08-02 16:26:18 · 217 阅读 · 0 评论 -
Towards In-network Acceleration of Erasure Coding(SOSR2020)参考计算分流
什么网内switch怎么网内加速传输的过程中加速是否会减少数据量的传输减少了数据量的传输,在switch上做了计算io占用变少了修复率增高中间出现问题的时候没有中断流量的传输加速到什么程度,解决的是吞吐量的problem跟流水线比了吗没有跟流水线比较在分布式存储系统中,擦除编码(EC)是一项关键技术,可实现比数据复制更低的存储开销并具有更高的容错能力。 EC可以通过从幸存的计算机中下载奇偶校验数据来重建丢失的数据。存在的问题:EC请求端IO多路复用,导致数据重建速度大大降低。在本文中原创 2020-08-02 15:31:55 · 272 阅读 · 0 评论 -
Efficient and Available In-Memory KV-Store with Hybrid Erasure Coding and Replication(fast‘16)
内存中键/值存储(KV存储)是许多系统(例如数据库和大型网站)的关键构建块。 此类系统的两个关键要求是效率和可用性,这要求KV商店每秒连续处理数百万个请求。 一种常见的可用性方法是使用复制,例如主备份(PBR),但是它需要M + 1倍的内存才能容忍M个故障。 这使稀缺的内存无法处理有用的用户作业。本文首次提出通过集成ec来构建高可用的KV-Store,从而在不显著降低内存性能的前提下提高内存效率。一个主要的挑战是,内存KV存储中的元数据分散很多。由于对元数据的更新过小,单个KV认沽期权可能会导致过多的原创 2020-07-31 08:55:57 · 326 阅读 · 0 评论