![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DolphinScheduler
文章平均质量分 88
以诺_
随遇而安
展开
-
DolphinScheduler-数据质量
通过自定义SQL进行检查,该SQL必须为统计SQL,例如统计行数,计算最大值、最小值等。注意事项:select max(a) as max_num from ${src_table},表名必须这么填。原创 2024-04-19 14:15:01 · 985 阅读 · 2 评论 -
DolphinScheduler-命名规范
DWS层项目根据数据域不同以及加工方式不同建立 DWS_域_BATCH(T+N加工(N>=1d))以及 DWS_域_STREAM (T+N加工(N<1d))。DIM层项目根据数据域不同以及加工方式不同建立 DIM_域_BATCH(T+N加工(N>=1d))以及 DIM_域_STREAM (T+N加工(N<1d))。DWD层项目根据数据域不同以及加工方式不同建立 DWD_域_BATCH(T+N加工(N>=1d))以及 DWD_域_STREAM (T+N加工(N<1d))。需补充描述信息:使用表信息。原创 2024-04-19 14:09:00 · 644 阅读 · 0 评论 -
DolphinScheduler-名词解释
在创建队列后,需要在Yarn配置队列的参数,如队列的名称(如果队列在yarn中没有创建,在该队列提交任务时会自动创建)、队列的排序方式、队列的容量等。DolphinScheduler的核心概念,它代表一个分布式任务调度系统中的一系列任务或活动的集合,这些任务或活动按照一定的规则或流程进行组织和协调。一个任务实例对应工作流中一个具体的任务,当这个任务被分配到某个工作流实例中并被启动后,就会创建一个任务实例。每个工作流实例都是工作流定义的一个具体执行实例,它包含工作流中定义的所有任务和它们的执行顺序。原创 2024-04-18 11:12:12 · 839 阅读 · 0 评论 -
DolphinScheduler3.1.7集群搭建
DolphinScheduler3.1.7集群搭建原创 2024-04-09 14:40:37 · 726 阅读 · 0 评论