云HBase全面支持金融云可用区-支持实时安全风控\金融时序\大数据量存储及高并发访问...

最新推荐文章于 2022-12-30 21:40:47 发布

weixin_34295316

最新推荐文章于 2022-12-30 21:40:47 发布

阅读量264

点赞数

文章标签：大数据数据库 netty

原文链接：https://yq.aliyun.com/articles/222526

版权

前言

HBase已经全面支持金融云的业务，包括华东1、华东2、华南区域。HBase是一个通用的数据库，在金融云场景下有较多的需求，本文主要分析hbase解决哪些金融场景的需求

金融云实时风控

在安全风控的场景下，我们往往需求存储大量的结构化数据，主要因为越多的数据，画像风控越精准，阿里蚂蚁金融实时风控流程图如下：

1、数据源会产生在各个地方，以事件为中心，事件有很多的属性，比如：人物、行为、环境、时间等，会高并发的入库操作。
2、离线分析，我们往往会对历史数据进行较高的并发分析，分析完成后。要么在线直接写入集群，要么离线导入集群中。
3、在线的风控平台在交易发生时，会实时查询交易相关的数据，并且实时判断此笔交易的安全系数，如果有较高风险，则直接干预交易，阻止交易发生

在此场景，我们需要存储大量的风控相关的信息，并且需要离线分析数据后，再高并发的写入。另外在线风控平台运行时，需要较低的延迟。
因为HBase高并发、高存储量，且高的入库速度，蚂蚁金融也是在众多的数据库产品中选择了hbase。

时序类的存储

在金融场景，比如股票、证券、期货的K线图，需要大量存储数据。目前不少客户基于以下论文设计了时序类的产品。
基于HBase的金融时序数据存储系统:此篇论文设计并实现了1个基于HBase的金融时序数据的存储系统.设计了基于金融时序数据的HBase预分区策略,可解决HBase存储热点的问题;采用了行键优化策略和基于时序数据的表设计策略,可解决数据存储分散的问题;使用了提供异步处理机制的事件驱动的Netty框架所编写的中间件接收采集器发送的请求,可解决高并发事务的处理问题.实验结果表明,与HBase原生方法相比,该系统的性能在处理高并发时更好.

金融类大数据量的存储

保险数据、金融的交易数据是海量的，目前关系型数据不能很好的支持，也不是关系型的长项目。特点是：往往存的比较多，需要在线实时访问，访问频率比较多，有明显的热度。目前HBase很好的满足此类的需求。比如，中国人寿的保单就是存在hbase之中，见：中国人寿基于HBase的企业级大数据平台：使用一个大跨表存储所有的保单，HBase宽表的实践