实时数仓的设计与实现

架构图

所需组件

• 数据源：Mysql、MongoDB、Log日志
• 采集工具：Canal、Mongoshake、FileBeat、Flume
• 消息队列：Kafka
• 数据库：Kudu
• 计算引擎：Flink
• 查询引擎：Impala 查询UI：Hue

数仓分层

• ODS层：未加工过的原数据存在HDFS。包括binlog、oplog、用户行为数据。
• DWD层：Flink实时消费Kafka数据，对kudu表进行增删改或拉宽操作。

实现过程中需要注意的问题

• Binlog日志格式：必须是Row格式。
• Canal：需要Mysql数据库用来存放CheckPoint元数据。
• Flume：最好按天滚动存放原数据。滚动太频繁会造成NameNode元数据过多的问题。
• Flink：最好将元数据以广播变量方式同步给TaskManager。避免频繁查询或join。
• Kudu： 同步的业务表必须有主键。 拉链表需要设计额外字段。包括主键id、start_date、end_date。