FISCO BCOS分布式存储设计解读

最新推荐文章于 2024-04-04 09:56:43 发布
最新推荐文章于 2024-04-04 09:56:43 发布
阅读量996 收藏 5
点赞数 1
分类专栏： 区块链开发篇-FISCO BCOS 文章标签： 数据库 分布式 区块链 FISCO BCOS 联盟链
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43402353/article/details/109453772
版权

FISCO BCOS分布式存储设计解读

一丶数据容量现状及方案

1.区块链技术发展面临的挑战

  • 数据容量
  • 吞吐性能
  • 数据孤岛（跨链）
  • 隐私保护

2.数据容量困境

随着区块链的普及程序和应用程序不断提高，区块链存储的数据将越来越大，磁盘占用也越来越大
交易数增加
|
数据量增加
|
交易性能衰弱 同步数据耗时

以太坊15年7月30号诞生 目前区块链数据已经膨胀5.4T ，同步时间需要花几个月时间，每天以3-4GB的数据在增长
比特币09年1月3号诞生 完完整整的区块链数据基本也就200多G，同步时间基本在24-36小时

3.交易性能衰减分析

交易上链及出块生成数据，增加存储的KV个数——>本地RocksDB存储
sst的文件个数及层数增加——>（sst文件（数据文件、sst表）：SST是Sorted Sequence Table （排序队列表），他们是排好序的数据文件）交易中读写KV的平均耗时增加——>单个交易处理时间增加，TPS降低

4.海量数据备份与归档

目标

  1. 节点通过控制本地存储的整体数据量，稳定联机交易性能
  2. 外部通过导出节点数据，实现对历史数据的备份归档及容量的平行扩展
    方案
  • 通过对写入本地的链上数据按照一定维度进行划分，分别存于不同存储实例，从而**控制节点所访问的单个存储实例的大小（sst文件个数及层数），稳定链处理能力
  • 归档：同时，对本地的存储实例，在实现数据迁移到外部存储进行备份归档后有选择地进行删除，从而控制本地存储的整体数据量，并在链外部实现存储的平行扩容

5.区块链基础架构

在这里插入图片描述

6.数据提交流程

FISCO BCOS中需要存储的数据可以分为两部分

  • 一部分是经过共识的链上数据，包括交易，收据，区块和合约数据等
  • 另一部分是各节点维持区块链运行所需的数据，包括当前块高，链上交易数和一些交易区块相关的索引信息

区块链上的新区块来自于同步模块和共识模块，以同步模块为例，当拿到新的区块之后，同步模块会调用BlockVerifier模块执行和验证区块，如果验证通过则调用BlockChain模块将区块和执行区块产生的数据提交给存储模块，由存储模块负责将数据序列化写入数据库。
在这里插入图片描述

7.存储模块概览

数据提交到存储模块之后，是一种抽象的表结构，存储模块首先将提交的数据加入缓存层，以提高查询性能
完成缓存的更新之后，需要提交的数据会加入提交队列，由缓存层负责异步提交到适配层，如果关闭了缓存设置，则同步到适配层

在这里插入图片描述

适配层需要把提交的数据从FISCO BCOS的抽象表结构组织形式转化为后端对应存储的组织形式，对于MySQL这种关系型数据库，则直接将存储模块的表结构对应到数据库表结构即可，例如_sys_config_这个表在MySQL中如下图所示：
在这里插入图片描述

对于RocksDB或LevelDB这种KV的存储模式，将表名和插入时设置的主Key拼起来作为数据库的KEY,对应的数据则序列化为VALUE,对应于_sys_config_这个表，以及tx_count_limit这个主key的数据，其在KV数据库中的KEY为_sys_config_,_tx_count_limit,VALUE所对应的数据化后的字符串

8.数据库存储类型

关系型
非关系性

9.什么选择RocksDB?

FISCO BCOS从1.0版本开始就是用LevelDB作为底层数据存储=引擎，在使用过程中我们也碰到一些小问题，例如内存占用高，文件描述符超限导致节点被干掉，节点被kill后可能导致DB损坏等

重构2.0版本时，为了更高的性能，需要一个更优秀的存储引擎，这个存储引擎应该满足下面这些条件：

  1. 开源且有持续的维护
  2. 读写性能要比LevelDB更高
  3. 嵌入式KV数据库，能够支持大数据量场景下的读写
  4. 与LevelDB类似的接口，降低迁移成本

RocksDB fork 自LevelDB,开源且由fackbook维护，相比于LevelDB有较明显的性能提升，保持了与LevelDB一致的接口，极低的迁移成本

10.RocksDB简介

一个可嵌入的，持久型的Key-value存储，为了更快速的存储环境而生

  • 高性能
  • 为快速存储而优化
  • 可适配性
  • 基于和高级的数据库交互

11.方案实施关键点

  • 本地数据导出策略
  • 本地数据管理及裁剪策略
  • 外部数据组织策略
  • 访问外部数据策略

12.区块链三级存储体系架构

  • 分高速缓存，硬盘主存和辅助存储三级
  • 调和性能容量两者矛盾
    在这里插入图片描述

二丶本地数据导出策略

1.BinLog机制

  • 数据先写BinLog在写缓存
  • 启动阶段将比较BinLog块高及，判断是否重放BinLog,用于保证缓存机制可靠性
  • 节点数据以BinLog为载体进行导出，供外部存储使用
    在这里插入图片描述

2.BinLog优势

BinLog机制 vs 数据库快照

  • 要求基于区块维度的数据快照
  • 节点可选存储引擎包括RocksDB数据库和MySQL数据库，均可实现快照
  • 减少适配两类存储引擎的开发工作量，服用已有BinLog机制

**TLV(Tag/Length/Value） vs protobuf
在这里插入图片描述
在这里插入图片描述

3.BinLog协议

在这里插入图片描述

4.数据导出完整性

节点数据的完整导出，是节点访问外部归档数据的前提

  • 方案：BinLog机制为确认数据的完整导出，对每个区块进行RCR32校验
  • CRC选择：CRC32适合不大于512MB数据量的校验，相比较CRC16合适不大于16KB数据量的校验
  • 负收益：CRC32耗时在BinLog生成流程（TLV编码，计算CRC，写文件）耗时占比50%

三丶本地数据管理及裁剪策略

1.本地数据管理策略

本地数据分段存储

  • 本地数据分数据库实例存储
  • 分段规则：按该数据落盘时的块高进行分段，写入对应的数据库

ScalableStorage模式

  • 本地多个RocksDB数据库实例+一个MySQL数据库实例用于访问外部存储
  • 节点在各自表中记录“区块块高”到“RocksDB数据库实例”的映射关系

数据一致性
先写入区块数据信息，再写入状态数据信息更新区块高度

2.ScalableStorage模式

在这里插入图片描述

3.本地数据裁剪策略

本地数据分类

  • 大原则：区块数据与状态数据分开存储
  • 结合分布式存储表的数据量大小进行“区块与状态”的分类

本地数据裁剪

  • 结合分段存储规则，对整个段的数据库进行删除，而非部分删除
  • 裁剪表_sys_hash_2_block_和_sys_block_2_nonces_
    在这里插入图片描述

四丶外部数据组织策略

1.外部数据表分类

外部数据存储引擎
MySQL,适合扩容及大数据分析
当前状态表

  • 作用：支持节点访问本地已裁剪的数据
  • 生成：基于从节点拉取的BinLog进行数据恢复
  • 特点：表名及内容与节点一致
    历史状态表
  • 作用：支持节点获取特定区块高度的历史状态
  • 生成：“当前作状态”的更新操作 记录
  • 特点：外部存储特有，与“当前状态表”——对应，表名为“当前状态表”的表名加后缀“d”

2.外部数据表举例

当前状态表_sys_config_
历史状态表_sys_config_d_
在这里插入图片描述

3.历史状态查询

  • 基于表的物理主键_id_和节点指定的_num_两字段进行查询
  • 海量数据使用分页查询
    在这里插入图片描述

4.数据库访问方式

数据代理amdb-proxy

  • 解耦节点处理和外部数据表存储逻辑
  • 实现准入控制

**zdb直连MySQL
配置简单，方便易用

5.数据可信访问

已有方案

  • 对外部数据采用“使用时再验证”的方式
  • 快照状态拉取+重跑最近区块交易

优化方案
链上增加全节点类型，存储所有数据并制作checkpoint

五丶方案收益

1.方案正负收益

  • 提升缓存机制可靠性
  • 本地数据量减少四分之三
  • 同步区块耗时减少56%
  • BinLog引入5%的性能损耗
Blockchain_KT
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
fisco BCOS 集成案例总结
11-19
区块链BCOS 集成案例总结，详细描述了使用fisco Bcos 区块链进行的各种行业应用的真实案例，帮助在BCOS区块链基础上进行应用创新和改造。
区块链共识机制综述
04-25
简述区块链中的各种共识机制，并对其应用场景进行分析
探索FISCO BCOS：区块链技术的新里程
最新发布
gitblog_00039的博客
04-04 343
探索FISCO BCOS：区块链技术的新里程 项目地址:https://gitcode.com/FISCO-BCOS/whitepaper FISCO BCOS 是一款由金融区块链合作组织（金链盟）开源工作组主导开发的企业级区块链服务平台。它旨在提供一个安全、高效且可扩展的区块链基础设施，以满足企业对分布式应用的需求。在本文中，我们将深入了解该项目的核心技术、应用场景及独特特性。 技术解析 分布式...
FISCO BCOS 2.0原理解析： 分布式存储架构设计
FISCO_BCOS的博客
04-22 4405
FISCO BCOS 2.0新增对分布式数据存储的支持，克服了本地化数据存储的诸多限制。 在FISCO BCOS 1.0中，节点采用MPT数据结构，通过LevelDB将数据存储于本地，这种模式受限于本地磁盘大小，当业务量增大时数据会急剧膨胀，要进行数据迁移也非常复杂，给数据存储带来较大的成本和维护难度。 为了突破性能的瓶颈，我们在FISCO BCOS 2.0中，对底层的存储进行了重新设计，实现...
区块链与分布式存储构建数据要素市场基础设施
heyuekeji的博客
09-30 549
9 月 23 日，《新基建数字经济高峰论坛》在苏州顺利落幕，峰会主题主要讨论了分布式存储技术的发展与应用，荷月科技联合创始人、解决方案总监廖逸发表主题演讲：《区块链与分布式存储构建数据要素市场基础设施》，分享了区块链与分布式存储如何为数字要素市场搭建基础设施，让数据成为真正可确权，可交易的生产要素。 荷月科技联合创始人、解决方案总监廖逸发表主题演讲以下为大家整理了演讲主要内容以及简短的技术介绍与科普，希望能够与大家一起探索分布式存储技术与区块链结合带来的变革与创新。 什么是分布式存储（IPF..
（二）区块链平台FISCO BCOS介绍及WeBASE介绍
qq_47756996的博客
01-30 922
FISCO BCOS介绍FISCO BCOS是由国内企业主导研发对外开源安全可控的企业级金融联盟链底层平台，该系统以实际需求出发，兼顾金融级的高性能、高可用性、安全性、易用性、可扩展性，同时支持多种SDK开发并提供可视化中间件工具。利用该平台，可大幅缩短建链、开发部署及应用的时间，更适合于电子投票这类需要多个参与者合作的系统。其次，其最新开发的webase中间插件，支持测试智能合约且进行部署，可大大减少了开发者和学习者的操作难度，利用该插件可协助监票机构对交易信息和节点进行监管，从而确保投票的公平性。
【教程】区块链是数据库？那么区块链的数据存储在哪里？如何查看数据？FISCO-BCOS如何更换区块链的数据存储，由RocksDB更换为MySQL、MariaDB，联盟链区块链数据库，区块链数据库应用
这里面的代码全是错的
08-10 2796
区块链如何修改数据库，区块链的切换数据库，FISCO-BCOS的数据库有什么样的配置，MySQL、MariaDB、RocksDB间的自由转换
FISCO BCOS整体架构---群组架构
热门推荐
Taro小峰的博客
04-10 1万+
一、概述 整体架构上，FISCO BCOS划分成基础层、核心层、管理层和接口层： 1.基础层: 提供区块链的基础数据结构和算法库 2.核心层: 实现了区块链的核心逻辑，核心层分为两大部分： (1) 链核心层: 实现区块链的链式数据结构、交易执行引擎和存储驱动 (2) 互联核心层: 实现区块链的基础P2P网络通信、共识机制和区块同步机制 3.管理层: 实现区块链的管理功能，包括参数配置、账本管理...
Fisco Bcos链平台搭建基本思维导图
2301_76737000的博客
11-28 193
使用Xmind画出思维导图。
1.平台介绍：FISCO BCOS 区块链
weixin_61275790的博客
06-09 6222
它以联盟链的实际需求为出发点，兼顾性能、安全、可运维性、易用性、可扩展性，支持多种SDK，并提供了可视化的中间件工具，大幅缩短建链、开发、部署应用的时间。2.2： FISCO BCOS 在2.0在架构上进行了一些重大改进和演变，创新性提出“一体两翼多引擎”架构，实现系统吞吐能力的横向扩展，大幅提升性能，在安全性、可运维性、易用性、可扩展性上，均具备行业领先优势。互联核心层: 实现区块链的基础P2P网络通信、共识机制和区块同步机制。链核心层: 实现区块链的链式数据结构、交易执行引擎和存储驱动。
FISCO BCOS | 开发第一个区块链应用
Mr.white_G的博客
05-22 1079
Table.sol合约详细接口参考这里。本章将会介绍一个基于FISCO BCOS区块链的业务应用场景开发全过程，从业务场景分析，到合约的设计实现，然后介绍合约编译以及如何部署到区块链，最后介绍一个应用模块的实现，通过我们提供的Java SDK实现对区块链上合约的调用访问。java目录下生成了org/fisco/bcos/asset/contract/包路径目录，该目录下包含Asset.java和Table.java两个文件，其中Asset.java是Java应用调用Asset.sol合约需要的文件。
区块链FISCO BCOS实战应用篇
06-16
FISCO BCOS是一个区块链底层平台，由金融区块链合作联盟（深圳）（以下简称：金链盟）开源工作组以金融业务实践为参考样本，在BCOS开源平台基础上进行模块升级与功能重塑。特点：深度定制的安全可控、适用于金融行业...
FISCO BCOS平台搭建
05-25
FISCO BCOS平台搭建
基于区块链Fisco-Bcos应用实战项目源码
05-31
FISCO BCOS 是由国内企业主导研发、对外开源、安全可控的企业级金融联盟链底层平台。另外通过微信小程序作为媒介，客户端由小程序和后台管理网站通过https 请求，经过 nginx 进行负载均衡。后台采用 django,将用户的...
fisco bcos整体设计图viso图
04-14
fisco bcos整体设计图viso图
区块链技术之分布式存储
Dangdangcyuyan的专栏
03-22 1764
随着互联网技术应用技术的普遍使用，所有行业的数据量指数级增长，数据存储技术都需要更新。分布式存储是一种数据存储技术，它可以跨多个物理服务器传播文件、块存储或者对象存储，以实现高可用性、数据备份和灾难恢复目的。可扩展的存储服务以及数据中心的巨大数据池。分布式存储依赖于使用者和宽带，不再依赖于少数的服务器，可以保证数据存储的效率、可靠性以及安全性，有效防止系统单点崩溃。区块链存储是去中心化的存储系统，用区块链激励构建的，使区块链和存储系统有效的结合，是一个巨大的全球统一、共享的存储池。
FISCO系统设计
顺其自然~专栏
01-18 157
Engine线程执行共识流程，共识过程会执行区块，共识成功后，将区块以及区块执行结果提交到区块链(BlockChain)，区块链统一将这些信息写入底层存储，并触发交易池删除上链区块中包含的所有交易、将交易执行结果以回调的形式通知客户端。EVM合约创建后，保存到执行上下文的_sys_contracts_表中，EVM合约的地址在区块链全局状态内自增，从0x1000001开始（可定制），EVM合约执行过程中，Storage变量保存到执行上下文的c_(合约地址)表中。否则丢弃交易并输出告警。
以太坊虚拟机 EVM（4）分布式存储架构设计（FISCO BCOS为例）
软件工程小施同学 的专栏
06-30 557
作者：莫楠｜FISCO BCOS 高级架构师 FISCO BCOS 2.0新增对分布式数据存储的支持，克服了本地化数据存储的诸多限制。 在FISCO BCOS 1.0中，节点采用MPT数据结构，通过LevelDB将数据存储于本地，这种模式受限于本地磁盘大小，当业务量增大时数据会急剧膨胀，要进行数据迁移也非常复杂，给数据存储带来较大的成本和维护难度。 为了突破性能的瓶颈，我们在FISCO BCOS 2.0中，对底层的存储进行了重新设计，实现了分布式存储，使用不同于MPT的方式来实现追溯，带来了性
FISCO BCOS
henulmh的博客
03-13 4614
为了方便用户快速体验，HelloWorld合约已经内置于控制台中，位于控制台目录下contracts/solidity/HelloWorld.sol。自己也可以往此目录中添加合约。3、部署及调用 HelloWorld 合约。（2）获取控制台并回到fisco目录。4、启动 FISCO BCOS 链。2、创建操作目录, 下载安装脚本。1、安装 ubuntu 依赖。3、搭建单群组4节点联盟链。（3）拷贝控制台配置文件。（1）检查进程是否启动。（3）检查是否在共识。（4）配置控制台证书。2、启动并使用控制台。
fisco bcos(一)搭建单群组fisco bcos链联盟
11-20
FISCO BCOS是一个基于联盟链技术的企业级区块链平台。通过FISCO BCOS，可以搭建单一群组的FISCO BCOS链联盟。 首先，要搭建FISCO BCOS链联盟，需要进行以下几个步骤。 第一步，准备环境。搭建FISCO BCOS链联盟需要一台可用的服务器，可以选择云服务器或物理服务器。同时，需要安装和配置必要的软件和环境，包括操作系统、Java开发环境、MySQL数据库等。 第二步，下载FISCO BCOS源代码。可以从FISCO BCOS官方网站下载最新版的FISCO BCOS源代码，并解压到服务器上的指定目录。 第三步，配置节点参数。进入解压后的FISCO BCOS源代码目录，修改config目录下的节点配置文件，配置节点的IP地址、端口号、节点类型等信息。 第四步，生成节点证书。在源代码目录下的nodes目录中，使用FISCO BCOS提供的脚本工具生成节点的证书和私钥。 第五步，初始化创世块。在源代码目录下，使用FISCO BCOS提供的脚本工具初始化创世块，并设置相关的参数，如创世节点的账户余额、链 ID、共识算法等。 第六步，启动节点。进入源代码目录下的script目录，执行启动节点的脚本命令，启动FISCO BCOS链联盟的节点。 通过以上步骤，就可以成功搭建单一群组的FISCO BCOS链联盟。在链联盟中，各个节点可以进行交易和通信，实现数据的共享和验证。需要注意的是，在搭建和操作FISCO BCOS链联盟时，要确保网络安全和相应的权限控制，保护链上数据的安全性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Blockchain_KT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值