降低区块链节点存储占用的方法总结

降低存储占用的方法总结

​ 随着区块链的不断运行,产生的数据越来越多,占用的存储也就越来越多。在这一点上,对于任何区块链项目都是一样的。在传统的中心化项目里,可以通过删除历史数据而降低对存储占用,保证在业务稳定的情况下,对存储的占用是稳定的, 对于区块链而言,历史数据是对新数据可信的证明,是不能随意删除的,这也就意味着存储占用只能是不断的增加,所以存储问题将是所有区块链项目面临的一个重大问题。本文讨论几种减缓存储增加速度的方法。本文讨论的方法以以太坊系公链为基础。

目标

​ 降低矿机的存储占用。

存储数据汇总

先看看目前矿机存储的区块链主要数据都有哪些。

对于以太坊系的公链(全同步矿机)来说主要是两类数据:1、区块数据 2、账户状态数据。下面具体看看都是什么样的数据,在leveldb数据库中都是以K:V的形式进行存储

1、区块数据:

​ a 区块总难度td : {headerprefix-number-hash : td}

​ b 区块header数据 : {blockhashprefix-hash:number, headerprefix-number:hash, headerprefix-number-hash:header}

​ c 区块body数据 : {bodyprefix-number-hash:body} // body即transactions,uncles

​ d 区块交易收条:{blockreceiptsprefix-number-hash:receipts} //receipts即块内所有的交易收条。

​ e 交易索引:{lookupprefix-txhash : blocknumber-blockhash-index}。//注:所以交易的查询是根据交易hash找到所在的blocknumber,blockhash,index,然后根据blocknumber,blockhash找到对应的body,然后根据index定位到交易在body中的位置。

​ f preimages : {preimagefix-txhash:preimage} //注:用于记录opsha3时的hash与data,用于vmdebug。

2、账户状态数据:

​ a 状态数据:{root : allaccountinfo} //每个区块都会有对应的stateroot 与 allaccountinfo

以上是对占用存储数据的整理,针对以上数据,如果要减少对存储的占用,大致有以下几种方式。

方法总结

1、将区块数据进行压缩存储

​ 根据测试,将区块body数据以及交易收条进行压缩存储,可降低区块数据30% ~ 65%的存储。交易收条越多,压缩比越大。

2、部分区块数据不存储

​ 考虑上述区块数据存储的必要性,如果不必要是否可以不进行存储。

​ 比如区块交易收条,对于矿机(或者部分矿机)而言,在校验完区块交易后,只要不需要查询交易收条,那收条就是没用的。而对于挖矿矿机,只负责挖矿,基本不涉及交易的查询。根据测试,普通交易的交易收条大小占整个交易数据大小的50%以上。 注:普通交易数据大小 = 交易大小 + 收条大小 + 交易索引

3、删除旧的状态数据

​ 状态数据存储的是区块对应的账户状态,在矿机以快速同步模式启动节点时,就相当于只保留区块数据,不存储状态数据。由于状态数据是需要参与到区块共识的,所以理论上保留最近的状态数据,删除旧区块的状态数据是可以的。

4、中心化存储并多副本备份

​ 完整的数据只保留在部分矿机或者专用服务器或公有云,其他矿机只保留验证信息。最近产生的区块尽量所有矿机都保存,然后根据一定的规则去删除旧的区块数据,但留下可验证的区块信息。

5、状态分片

​ 根据账户信息进行分片,每个分片只关心对应账户的交易与存储。实现复杂,会涉及到跨片/跨链交互。

6、存储分片

​ 不分片状态,只分片存储。简单模型如下:两个矿机,一个存储块号为单数的完整区块数据,一个存储块号为双数的完整区块数据。最近的块都进行存储,定时清除不属于自己应该存储的块数据,保留header,删除body,删除状态数据。

目前总结以上6种方式,欢迎讨论。

THE END!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值