- 博客(35)
- 收藏
- 关注
RSS订阅原创 vChain: Enabling Verifiable Boolean Range Queries over Blockchain Databases(sigmod‘2019)
目录Abstract1 Introduction2 相关工作问题定义4 预赛5 基本解决方案5.1 ADS 生成和查询处理5.2 多组蓄能器的结构5.3 范围查询的扩展6 批量验证6.1 块内索引6.2 块间索引6.3 在线批量验证7 可验证的订阅查询7.1 可扩展处理的查询索引7.2 惰性身份验证8 安全分析8.1 多集累加器分析8.2 查询认证分析9 绩效评估9.1 设置成本9.2 时间窗口查询性能9.3 订阅查询性能10 结论实验评估Abstract由于加密货币和去中心化应用程序的繁荣，区块链最
2022-06-08 11:40:08
3206
原创 bash处理csv&gunplot画图过程
读取指定行指定列数据从第二行开始compaction_second=`tail -n+2 compaction.csv`cat compaction.csv | awk 'NR>1' | while read linedodone读取指定列Time=`echo $line |awk '{print $1}'`#读取第一列,文件从前面传过来write_bandwidth=`cat compaction.csv | awk '{print $2}'`#读取第二列,嘻嘻读取指
2022-05-24 20:15:08
314
1
原创 SlimChain: Scaling Blockchain Transactions through Off-Chain Storage and Parallel Processing Cheng
底层存储采用了rocksdbabstract区块链技术已成为许多分散式应用程序在其他不受信任的同行之间运行的基石。然而，众所周知，现有的区块链系统不能很好地扩展。事务通常按顺序执行和提交，以保持对总订单的相同视图。此外，为了保证完整性，有必要在区块链网络的每个节点中复制交易数据及其执行。这样的存储和计算要求给区块链系统带来了沉重的负担，不仅限制了系统的可扩展性，而且通过使网络更加集中而破坏了系统的安全性和鲁棒性。为了解决这些问题，在本文中，我们提出了 SlimChain，这是一种新颖的区块链系统，可通过
2022-05-04 10:36:57
2265
原创 SEBDB: Semantics Empowered BlockChain DataBase（ICDE‘2019）
目录Abstract4.实验Abstract区块链的缺点数据语义缺失查寻表达有限（Hyperledger Fabric ）底层数据可以选用LevelDB和CouchDB数据集成受阻。直接线上查寻受限于区块链网络简单的存储和表达能力，能实现的操作有限，需要编制复杂的中间件来实现查寻。数据导入到线下的方案存在空间的冗余浪费和数据一致性上的阻碍。4.实验所有实验均在一个集群上进行，其中每个节点运行 CentOS 7 操作系统，配备两个 16 核 2.10GHz Intel Xeon CPU、96G
2022-05-04 09:53:56
1820
原创 Hybrid Blockchain Database Systems: Design and Performance（VLDB‘2022）
目录Abstract2 background and related work2.1 混合区块链数据库系统2.2 账本数据库Ledger DB2.3 总结四、Performence analysis4.1实验设置setup一、pandas是什么？二、使用步骤1.引入库2.读入数据总结Abstract随着混合区块链数据库系统的出现，我们旨在深入分析一些代表性系统之间的性能和权衡。为了实现这一目标，我们从头开始实施 Veritas 和 BlockchainDB。对于 Veritas，我们针对崩溃容错 (.
2022-05-03 19:14:38
3131
原创 Rocksdb安装运行教程./db_bench
安装一堆乱七八糟工具可以参考https://blog.csdn.net/Waterees/article/details/120774083https://blog.csdn.net/Z_Stand/article/details/106442454Step 3编译生成动态链接库和静态链接库cd rocksdb-6.25.1make shared_lib && sudo make install-sharedmake static_lib && sudo mak
2022-04-24 21:49:03
1823
原创 A survey on challenges and progresses in blockchain technologies区块链综述
目录摘要Introuduction关键技术二级目录三级目录摘要Introuduction区块链是近十年出现的技术之一，受到了业界和学术界的极大关注。区块链是使用密码学链接的不断增长的记录列表（称为块）。每个块都包含前一个块的加密哈希、时间戳和表示为 Merkle 树的交易数据。区块链以数据不变性的特性而闻名。它实际上是一个运行在点对点 (P2P) 网络上的开放式分布式账本，可以在没有中间人的情况下以可验证和可追溯的方式有效地管理多个实体的交易。区块链的防篡改特性来自这样一个事实，即一旦达成共识并提交一
2022-04-20 15:10:41
3985
原创 FAST2022 DEPART: Replica Decoupling for Distributed Key-Value Storage Qiang（翻译分析）
DEPART: Replica Decoupling for Distributed Key-Value Storage Qiang文章目录DEPART: Replica Decoupling for Distributed Key-Value Storage Qiang摘要一、Introduction二、使用步骤1.引入库2.读入数据总结摘要现代分布式键值 (KV) 存储通过跨节点分布 KV 对的副本来采用复制以实现容错。然而，现有的分布式 KV 存储通常在同一索引结构中管理所有副本，从而导致超
2022-04-13 15:20:56
851
原创 公有链 私有链 联盟链区别
公有链比特币以太坊完全开放，谁都可以加入，链上数据全局可见。私有链由组织或个人完全控制权限，具有一定的访问限制。机构内部：基金会、融资企业内部使用，权力在组织者手中。联盟链私有链的联盟，授权信息可见。侧重商务。...
2021-11-02 21:54:04
165
原创 leveldb之db_bench源码分析
// Comma-separated list of operations to run in the specified order// Actual benchmarks:// fillseq – write N values in sequential key order in async mode// fillrandom – write N values in random key order in async mode// overwr
2021-11-01 09:18:37
1045
原创 leveldb存在的问题（一）
写放大一条记录的过程是：写log—>写到level0每个key往下一层写的时候要进行重新读写，造成的写放大。读放大读取过程通过bloomfilter可以把实际的读取数据降低到接近1.
2021-10-26 16:08:11
150
原创 c++隐式调用和显示调用
调用隐式调用动态库又分显式调用和隐式调用三级目录隐式调用动态库和静态库，动态的体积小，程序运行时需要依赖使用动态库文件（.so文件）使用静态库一旦编译好，则不需要依赖静态库文件了（.a文件）动态库又分显式调用和隐式调用隐式调用显式调用调用代码少调用时加在动态库的名称和函数名称调用起来和使用当前项目下的函数一样直接自己加载和卸载（更合理，大项目都用显式）makefile中链接命令需要加入参数-l命令更加灵活，必须加头文件dlfcn.h三级目录est1的构造
2021-10-26 10:19:29
3540
原创 区块链存储
区块链到底是如何存储的？区块数据 磁盘blocks/blk*.dat （在目录~/.bitcoin.blocks’）文件中，包括：原始块的数据，这些数据条目被被几个打包到一个区块里面。节点首先吧接收到的区块写入到blk00000.dat，等待写满（128MB）左右，开始写下一个，以此类推。（文件是二进制文件）文件结构：magic bytes：每个区块会分发一个，为了在连续的数据流过程中区别一个区块和另一个区块的标记。长度是四个字节，根据不同的网络标记有所不同。4个字节size：这个指的
2021-03-20 08:56:34
2140
原创 主动和被动路由
被动路由协议：任何网络层地址提供信息，分组能够基于寻址方案从一台电脑发到另一台电脑。不自动搜寻网络，需要手动配置，一旦所有路由器都了解了所有的网络，被动路由器就可以用来发送数据包，IP和IPV6就是被动路由协议主动路由协议：路由器在互联网上动态找寻所有网络，确保所有路由器有相同的路由表的协议。有RIPV1\\\\v2OSPFEIGRP...
2020-11-08 10:13:20
1198
原创 无线网络中的单跳和多跳
在传统的无限局域网中，每个客户端均通过一条与AP链接的无限链路来访问网络，用户如果要进行相互通信的话，碧血首先访问一个固定的接入点，这种网络称为单跳网络（sigle-hop）多跳在无线网络中，任何无限设备点都可以同时作为AP和路由器，网络中的每个节点都可以发送和接受信号，每个节点都可以与一个或多个对等节点进行直接通信。源节点到目标节点之间通过多跳组成。在路径上充当中间节点和转发节点。所以他们有两个作用：1、充当端节点产生或接受数据分组2、充当路由器，对其他节点的数据进行转发。现有的.
2020-11-08 09:44:29
3906
原创 Raptor Codes Based Distributed Storage Algorithms for Wireless Sensor Networks（2008.B会基础上扩展到raptor）
我们考虑具有n个节点的大型无线传感器网络中的分布式存储问题，其中k个获取（感知）独立数据。 目标是在整个网络上传播获取的信息，以便n个传感器中的每一个存储一个可能的编码数据包，并且稍后可以以计算简单的方式从某个节点的（1 +ǫ）k个节点中恢复原始k个数据包。 E>0。我们提出了两种基于Raptor码的分布式存储算法来解决此问题。 在第一种算法中，所有传感器都具有n和k的知识。 在第二篇文章中，我们假设没有传感器具有这样的全局信息。由于传感器通常由于能量有限和恶劣的环境而易受攻击，因此希望在整个网络上
2020-08-15 22:32:22
134
原创 Fountain Codes Based Distributed Storage Algorithms for Large-scale Wireless Sensor Networks（B会2008）
我们考虑具有n个节点的大规模网络，其中拥有k个信息包（例如，已经以某种其他方式感知或收集了k个信息包）。 在网络节点由于例如能量有限或敌对环境而易受攻击的情况下，希望在整个网络中分布所获取的信息，以便n个节点中的每一个存储一个（可能是编码的）数据包 原始的k个源数据包随后可以通过计算简单的方式从任何（1 +E）k节点中恢复，并且对于某些小small> 0...
2020-08-15 16:46:38
176
2
原创 Network Coding for Distributed Storage Systems
分布式存储系统EC所需的冗余度比简单复制要少。但是，由于片段必须在节点发生故障时定期更换，因此一个关键问题是如何以分布式方式生成编码的片段，同时在网络上传输尽可能少的数据。对于擦除编码系统，从单个节点故障进行修复的常见做法是让新节点重构整个编码数据对象，以仅生成一个编码块。我们显示此过程是次优的。我们介绍了重新生成代码的概念，该概念允许新节点与尚存的节点通信存储的数据的功能。我们证明重新生成代码可以显着减少修复带宽。此外，我们表明在存储带宽和修复带宽之间存在一个基本的权衡，我们在理论上使用适
2020-08-06 19:37:38
316
原创 喷泉码的基本思想
LT码的历史：2002年Luby就提出了喷泉码的概念基本思想：将随机数量的原始数据包进行异或运算，并产生一个新的数据包，即编码数据包。一个编码数据包所包含的源数据包的数量称为编码数据包的“度”。（度是一个整数，由度分布函数随机生成。）编码端可以不停地产生随机的编码数据包，而译码端可以从一定数量的编码数据包中译码出所有的源数据。步骤：根据度分布函数随机生成一个整数d，d就是此次编码过程要产生的编码数据包的度数。（编一个包换一次） 一个性能好的度分布要保证每一个译码过程中每一.
2020-08-06 16:49:48
1472
原创 Cross-Rack-Aware Single Failure Recovery for Clustered File Systems(2020‘A)
由于其在大规模存储系统中的普遍性，如何提高单故障恢复的性能一直是一个活跃的研究主题。我们认为，当擦除编码部署在群集文件系统（CFS）中时，现有的单个故障恢复设计在不同方面受到限制：忽略CFS体系结构中的带宽多样性属性，针对特定的擦除代码构造，并且不对负载进行任何特殊处理恢复期间保持平衡。在本文中，我们提出了CAR，一种跨机架感知的恢复算法，旨在提高采用Reed-Solomon码实现一般容错能力的CFS的单次故障恢复的性能。对于每个stripe，CAR都会找到一种恢复解决方案，该解决方案可以从最少数量的机架
2020-08-03 09:31:36
159
原创 Practical Performance Evaluation of Space Optimal Erasure Codes for High‑Speed Data Storage Systems
由于擦除代码已在大多数大型数据存储系统和应用程序中广泛采用，因此近年来高性能擦除代码的实现已得到显着改善，尤其是通过采用英特尔的Streaming SIMD Extensions（SSE）指令。扩大Plank等人的调查工作。 （Fast，9：253–65，2009）进行了将近十年，本文比较了三种开源或公共领域擦除编码库的实际性能，即Jerasure和Intel的ISA-L的RS代码以及STAR代码的实现。本文的目的是为数据存储从业者提供指南，以便他们为需要在GBs / s数量级的编码和解码操作中需要高性能的
2020-08-03 09:03:47
103
原创 An Erasure-Coded Storage System for Edge Computing
新兴的计算范式边缘计算希望在网络边缘存储和处理数据，同时减少延迟并改善网络带宽。据我们所知，尚未针对边缘计算研究关键性能问题，例如擦除编码存储系统的编码性能。在本文中，我们提出了一种用于边缘计算的纠删码存储系统。与数据中心和云存储系统不同，它使用边缘设备执行编码和解码操作，由于计算能力有限，它可能成为整个存储系统的性能瓶颈。因此，我们对擦除编码的性能进行了全面的研究，看它是否可以在网络边缘与5G和Wi-Fi 6的网络性能相匹配。我们使用流行的边缘设备Jetson Nano和两个最新的编码库：Jerasure
2020-08-03 08:31:54
200
原创 BFT-Store: Storage Partition for Permissioned Blockchain via Erasure Coding（icde’2020）
这篇论文主要是概念新颖，纠删用在区块链测试了存储开销请求延迟计算开销没有算
2020-08-02 17:01:27
528
原创 Fast Erasure Coding for Data Storage（fast‘19、TOS‘2020）
怎么快速的跟流水线比了吗？用了什么样的方法？共同使用之前提出的纠删码单独的全面评估哪几种？EVENODD代码[3]，RDP代码[7]，Linux Raid-6 [16]，STAR代码[9]和Quantcast-QFS [14]代码。如何做的测试快到什么程度目前的纠删都是什么速度？如何优化计算链什么叫做在新的cup上迁移工作最少？为什么文献中已经提出了各种技术来提高擦除码的计算效率，包括优化位矩阵设计和计算时间表，通用XOR（异或）操作减少，缓存管理技术和矢量化技术。这些技术主要是单..
2020-08-02 16:26:18
223
原创 Towards In-network Acceleration of Erasure Coding（SOSR2020）参考计算分流
什么网内switch怎么网内加速传输的过程中加速是否会减少数据量的传输减少了数据量的传输，在switch上做了计算io占用变少了修复率增高中间出现问题的时候没有中断流量的传输加速到什么程度，解决的是吞吐量的problem跟流水线比了吗没有跟流水线比较在分布式存储系统中，擦除编码（EC）是一项关键技术，可实现比数据复制更低的存储开销并具有更高的容错能力。 EC可以通过从幸存的计算机中下载奇偶校验数据来重建丢失的数据。存在的问题：EC请求端IO多路复用，导致数据重建速度大大降低。在本文中
2020-08-02 15:31:55
278
原创 Efficient and Available In-Memory KV-Store with Hybrid Erasure Coding and Replication(fast‘16)
内存中键/值存储（KV存储）是许多系统（例如数据库和大型网站）的关键构建块。 此类系统的两个关键要求是效率和可用性，这要求KV商店每秒连续处理数百万个请求。 一种常见的可用性方法是使用复制，例如主备份（PBR），但是它需要M + 1倍的内存才能容忍M个故障。 这使稀缺的内存无法处理有用的用户作业。本文首次提出通过集成ec来构建高可用的KV-Store，从而在不显著降低内存性能的前提下提高内存效率。一个主要的挑战是，内存KV存储中的元数据分散很多。由于对元数据的更新过小，单个KV认沽期权可能会导致过多的
2020-07-31 08:55:57
339
原创 supermem
针对的问题nvm安全问题。确保加密的nvm的崩溃一致性**传统方式怎么做 **考虑计数器模式的高安全级别低解密延迟来使用计数器mode加密。存在的问题计数器模式加密会导致崩溃一致性保证出现新的持久性问题。作者怎么做它通过利用直写计数器cach来保证数据和计数器写入的原子性。数据和计数器一起写进来加密。什么叫直接写？write-through？SuperMem利用可感知位置的计数器写入合并方案，通过利用计数器存储空间和数据写入的空间位置来减少写入请求的数量。此外，SuperMem利用跨
2020-07-26 09:20:06
193
原创 Repair Pipelining for Erasure-Coded Storage（ATC‘17）
修复流水线EC提高性能。那些性能修复的时间快更改的本身hdfs的代码少跨存储节点的小型单元中，对失败数据进行流水线修复在同构环境下对相同数量的数据修复时间减少到与进行正常读取的时间大致相同扩展到异构环境中异构指的是什么指带宽异构能够提高降级读取和全节点恢复的性能。一、introduction之前的研究：减少修复通讯设计快速修复方法（延迟修复or并行部分修复）缺点修复时间高于正常读取的时间。提出的方法把EC修复以小单元的形式输送到各个存储节点（借鉴虫洞路由思想）多
2020-07-23 17:29:37
620
原创 FalconDB: Blockchain-based Collaborative Database（sigmod 2020）整理翻译
sigmod 2020区块链结合协同数据库文章
2020-07-21 10:07:50
1875
原创 IO延迟
IO延迟IO延迟IO延迟IO延迟是指控制器将IO指令发出后，到IO完成的过程中所消耗的时间。目前业界不成文的规定，time在20ms内表示可以接受，大于则程序性能会受到影响。...
2020-01-10 09:56:28
2735
原创 并发和并行的区别
并发并发在操作系统中，指某个时间段中多个程序都处于已启动运行到运行完毕之间（都在跑呗）且同时在一个处理机上运行，但任何时刻下只有一个程序在处理机上运行。综上，就是一堆程序扎堆在一个处理机上等着上去跑。就是并发。字典上说就是跟着发生。比如并发症。（扯远了）在关系数据库中，允许多个用户同时访问和更改共享数据的进程（又不懂了，度娘：是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配...
2019-03-20 21:48:23
126
原创 快照 snapshot
快照snapshot欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。定义快照是特定数据集的一个完整可用的拷贝，该数据集包含源数据在靠背垫的静态映象，快照可以是数据再现的一个副本或者复制。快照的价值快速备份/恢复快照可以迅速生成，并...
2019-03-20 14:56:10
422
原创 大话存储笔记
大话存储笔记1引言TCP/IP引言刚刚接触到存储领域，选择用这种方式来记录我的学习心得，与同行共勉。TCP/IP从第一页看起，不懂TCP/IP的具体概念，只是听说过，transmission control protocol，主要负责完成第四层传输层指定功能，同层还有数据报协议（UDP）应用层----TCP----IP，到了IP相当于上网了，你的数据从你家门口的那条河上了船，通过TCP进...
2019-03-16 14:00:47
266
原创 哈哈哈哈
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-09-07 20:47:48
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人