长安链交易防重之布谷鸟过滤器

长安链开源社区

于 2022-06-22 10:09:09 发布

阅读量408

点赞数

文章标签：区块链

本文链接：https://blog.csdn.net/weixin_55760491/article/details/125404021

版权

我们将用三篇文章阐述长安链在提升交易防重能力方面所做的工作，本篇为第一篇。

全部三篇主要包括以下内容：

1. 长安链交易池及防重交易优化；

2. 长安链交易防重之布谷鸟过滤器；

3. bigfilter全局交易防重组件的介绍与应用。

一、背景

长安链在商业化实施过程中收集了诸多实际场景的需求。其中随着区块链系统的长期运行，账本数据规模持续增长，带来如下的技术挑战：

1、随着账本数据容量的持续增长，基于全量账本的交易防重处理耗时增加，导致tps越来越低；

2、交易防重都基于账本库进行操作，在海量交易场景下，账本库的读写负担更加繁重；

基于以上问题决定推出长安链布谷鸟过滤器。

二、什么是布谷鸟过滤器

2.1 概率过滤器

概率过滤器是一种快速的、节省空间的数据结构，是一种常见的数据结构，就是否存在的问题，检索一个元素是否在一个集合中”称为“集合隶属测试”；存在假阳性率的“集合隶属测试”称为“近似集合隶属测试”。

而在概率过滤器中比较优秀的两个实现一个是布隆过滤器，另一个是布谷鸟过滤器。

2.2 为什么使用布谷鸟过滤器

从添加、查询、删除、空间大小几个方面阐述为什么基于布谷鸟过滤器实现交易过滤器。

添加

添加操作会在节点出块时将交易添加到交易过滤器中；布谷鸟随着接近负载因子容量，效率会曲线下降，而布隆过滤器效率是恒定的，这点布隆过滤器优于布谷鸟过滤器，但是我们在实际使用中使我们要存的项的数量控制在负载因子以下即可减少假阳性的概率。

查询

交易防重主要依赖查询方法来检查过滤器中项是否存在；布谷鸟过滤器的时间复杂度是O(1)，而布隆过滤器是O(k)，k = 布隆过滤器的哈希数量，布谷鸟过滤器查询方法的时间复杂度优于布隆过滤器。

删除

布谷鸟过滤器中支持删除操作，而布隆过滤器不支持。

空间大小

在实际测试中200w的项的数量实测相比布隆过滤器空间占用减少24%。

总结

基于如下表格对比，长安链团队选择布谷鸟过滤器作为交易防重组件的基础实现。