大数据基础平台针对金融需求:安全,可靠备份,灾备,易管理
常用的cdp,华为的mrs,腾讯的tbds
CDP上组件
hdfs分布式文件系统
yarn集群计算资源管理
spark数据处理,批量数据加工
kafka分布式消息系统
flink数据处理,流式数据加工
hbase高并发在线键值对数据读写
Impala小并发sql查询
MRS上组件
CDL简单,高效,数据实时集成服务
ClickHouse联机分析OLAP的列式数据库管理系统DEMS.
DBservice传统关系数据库,为hive,hue,Oozie,loader,metadata和redis组件提供元数据存储服务。
doris分析型数据库,支持高并发,高吞吐的复杂分析场景。