- 博客(2)
- 收藏
- 关注
RSS订阅原创 hiveSql解析DolphinScheduler调度系统7位crontab表达式
先说下我们数仓大致的数据链路。各个业务系统的数据库 -> hive -> doris -> 报表/邮件/系统hive里ods层几乎所有的数据都依赖于从业务库拉取，但是偶尔也难以避免的会遇到拉取失败或者集群（主要是业务库）宕机的情况，导致ods层数据大批量的拉取失败，从而影响到dwd层、dws层、ads层等数以千计的hive表，进而影响到数据。每当遇到宕机的情况我们的解决方案是——重新拉取数据后把失败的工作流从后往前一个个重跑，一上午甚至大半天的时间就这么过去了，手累，心也累。
2024-01-18 13:32:56
1157
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人