数据中台架构

基础设施
HDP + 私有云 + k8s/docker
存储组件
Hadoop/hive/ELK/GP/Tidb/hbase/kudu
离线ETL
HQL/spark/presto/kettle
实时ETL
Kafka/cdc/flink/spark streaming
OLAP分析
Kylin/clickhouse/BI
数据仓库建模 kimball/inmon建模
基于sap / wms / crm; sap(mm/sd/fico)
流程Ods / dwd/dwm /dws/ops
Kimball: 大量事实表和维度表，包括事务事实表，周期快照表，累积快照事实
Inmon : 企业级数仓，兼顾公司所有业务，ER模型

上层应用
数据治理
功能： 元数据管理，主数据管理，数据质量，数据标准，数据安全
实现方案: atlas，数据治理平台
安全: Ranger/kerberos/SSL/TLS和用户权限管理
监控运维：prometheus+python脚本自动运维
数据分析
BI指标，对比分析，python数据分析，机器学习决策,深度学习预测