课程目标:
学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集,存储,计算,输出,展示的整个业务流程。
项目需求分析:
同步业务流程数据
同步维度表数据
实时分析统计业务数据
对结果进行可视化展示
技术选型:
大数据计算框架:hadoop集群+flink+调度器
大数存储框架: kafka+redis+hbase+clickhouse
数据流存储 kafka+元数据管理
关系型数据库 mysql
可以化工具 tableau,echarts,kibana
系统数据流程设计:
业务数据库 --->mysql
flink实时计算平台 ---->ods 是 hdfs +维度数据/分析结果