CSDNHXW的博客

深入了解海豚调度DolphinScheduler

⼀、实时数仓建设背景实时需求⽇趋迫切⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能⼒来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，⽆法⽀撑实时场景的数据需求。即使能将调度频率设置成⼩时，也只能解决部分时效性要求不⾼的场景，对于实效性要求很⾼的场景还是⽆法优雅的⽀撑。因此实时使⽤数据的问题必须得到有效解决。实时技术⽇趋成熟实时计算框架已经经历了三代发展，分别是：Storm、SparkStreaming、Flink，计算框架越来越成熟。⼀⽅⾯

⼀、实时数仓建设背景实时需求⽇趋迫切⽬前各⼤公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能⼒来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，⽆法⽀撑实时场景的数据需求。即使能将调度频率设置成⼩时，也只能解决部分时效性要求不⾼的场景，对于实效性要求很⾼的场景还是⽆法优雅的⽀撑。因此实时使⽤数据的问题必须得到有效解决。实时技术⽇趋成熟实时计算框架已经经历了三代发展，分别是：Storm、SparkStreaming、Flink，计算框架越来越成熟。⼀⽅⾯