经过一年的努力,整个大数据技术架构终于完成,在此感谢同事的鼎力支持,特别表示感谢。
监控:prometheus+grafana+alertmanager 企业微信告警
任务调度:azkaban,dolpinscheduler
资源管理:yarn
数据血缘:atlas
数据同步:datax,sqoop
binlog同步:canal+flink cdc
ELK+EFK
离线:hive
实时:flink+clickhouse,seatunnel
BI:superset+自研
大家把需要优先讲解的打在评论区。