区块链数据服务 - BDS

最新推荐文章于 2022-12-07 20:56:33 发布

csxyo42460

最新推荐文章于 2022-12-07 20:56:33 发布

阅读量670

点赞数

区块链数据服务（Blockchain Data Service，BDS）是京东云区块链产品部发推出的，其将区块链的链式、非结构化数据通过技术手段进行结构化存储，实时同步到高性能数据仓库中。

用户可以通过区块链数据查询工具，实现简单的条件查询和复杂的 SQL 查询，从而助力基于区块链数据的创新企业快速起步。

区块链数据服务具有以下特性：

丰富性 ：涵盖了 BTC、ETH、EOS、LTC、XRP、BCH 等几十个知名区块链项目，自定义了涉及用户、交易、区块等 100+ 独家数据指标，联网即可查询链上实时数据，即开即用，方便快捷。
便捷性 ：提供了一个交互式的数据可视化 BI 工具，支持通过点击和拖拽的交互方式进行条件查询，可实时生成各类数据报表、图形化界面。
专业性 ：支持标准 SQL 查询语句，可轻松实现复杂的查询逻辑。

京东云的 BDS 是 国内首家 提供区块链数据在线分析服务的产品。

产品背景

近两年随着区块链技术的兴起，整个行业可谓是百家争鸣，有诸如 BTC，ETH，XRP 等耳熟能详的公有链项目，也有 Fabric，Enterprise Ethereum Alliance，Corda R3 等众所周知的联盟链项目。

不管是公有链也好，联盟链也罢，其实一个个都是独立的信息孤岛，数据和信息无法在彼此之间流通。 在当今数据为王的互联网时代，如何将这些区块链的数据和信息整合到一起，并能方便的利用当前业界已经相对成熟的数据分析工具来针对区块链数据进行分析和建模，成为了京东云产品部一直在思考的一个问题。

最终，京东云产品部秉承产品设计初衷，推出了区块链数据服务这款产品。

产品架构图

gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==

区块链数据

在 区块链数据 方面，由于大部分的公有链全节点都部署在海外，所以在国内的环境下部署全节点同步数据经常会出现同步失败的情况。京东云区块链产品部依托京东云的强大基础能力，针对每条独立的公链，在海外部署了多个区块链全节点来确保实时同步公链数据。

我们观察发现，目前市值排名前三的虚拟货币分别为 BTC，ETH，XRP，这三者中 BTC 全节点所占的存储空间是最少的，目前其全节点存储空间为 200 GB，而 ETH 全节点的存储空间已经接近 3 TB，全节点存储空间最大的当属 XRP，目前已经接近 10 TB，一般的物理服务器已经无法存储这边大的数据量。

在进行公有链的非结构化数据分析的时候，最初我们采用了公有链全节点自身暴露的接口，通过 RPC 调用查询链上原始数据，这种方式虽然便捷，但是如下问题：

数据时效性：全节点同步到的 block 数据，需要持久化到磁盘上之后，才能通过 RPC 接口获取；
性能损耗：全节点响应 RPC 请求，需要读取磁盘的数据，会有 IO 损耗，同时处理所有的外部请求需要消耗 CPU；

综合考虑之后，我们直接通过修改了公有链全节点源码，在全节点同步到 block 数据的时候，就直接将数据推送给大数据分析平台，从而确保了数据的时效性。

自定义数据

在 自定义数据 方面，京东云区块链产品部结合了 AI，网络爬虫等技术手段进行了创新，产生了我们独有的基础数据。

由于区块链自身的匿名性特性，其实无法知道区块链上每个地址的真实归属。京东云区块链产品部通过网络爬虫获取互联网上的区块链相关的所有信息，结合链上的交易行为，通过 AI 技术进行数据分析，针对地址进行标注，定位地址的归属情况。

大数据分析平台

在 大数据分析 方面，基于区块链数据和自定义数据，京东云区块链产品部经过长期的研究、分析、计算，原创了很多有意义的独家数据指标。这些数据指标除了交易金额，交易次数，活跃地址，新增地址等一些基础的指标外，还有地址分类，市值价值比，用户留存等高级的指标。

数据分析不仅有实时的数据分析，也有离线定时执行的数据分析。比如目前进行地址分类的时候，针对每天新增的地址，是需要结合全量历史地址数据的聚类判断，这项数据指标我们目前是采用离线分析方式，每天定时跑数据聚合任务，目前光进行每天新增地址的分类，大概需要耗时 2 ~ 3 个小时；同时可以预见未来随着数据量的增加，数据聚合的耗时也会相应增加。

因此，京东云区块链产品部依托京东云的基础计算能力，通过数据分析集群服务，预先计算了 100+ 个基础和高级数据指标。

举个例子，我们来看看 btc_statistics_day_transaction 的表结构信息

btc_statistics_day_transaction

按天分析交易相关数

字段	类型	定义
id	INT	自增ID
timestamp	INT	时间戳
value_day_consume	DOUBLE	币天销毁
tx_rate	DOUBLE	交易速率
tx_count	INT	交易次数
tx_vin_avg	DOUBLE	交易输入平均值
tx_vout_avg	DOUBLE	交易输出平均值
tx_size_avg	DOUBLE	交易空间大小平均值
tx_value_sum	DOUBLE	交易金额总和
tx_value_avg	DOUBLE	交易金额平均值
tx_fee_avg	DOUBLE	交易手续费
tx_size_fee_avg	DOUBLE	每KB交易手续费
tx_value_without_hot_address	DOUBLE	排除热门地址的交易金额
tx_value_without_long_chain	DOUBLE	排除长链交易的交易金额
block_trade_count	INT	大额交易数量
block_trade_sum	INT	大额交易总金额
address_count_sum	INT	地址总数
address_count_new	INT	新增地址数
active_address_count	INT	活跃地址数
address_vin_vout_avg	DOUBLE	交易地址交易次数平均值
address_tx_value_avg	DOUBLE	交易地址交易金额平均值
active_percent	DOUBLE	地址活跃率
store_rate	DOUBLE	存储率
ratio_of_market_value	DOUBLE	市值价值比
freshness	DOUBLE	新鲜度
dormant_address	INT	休眠地址数
dead_address	INT	死亡地址数
wake_up_address	INT	苏醒地址数
reborn_address	INT	复活地址数