run命令运行过程读取dag文件生成task依赖关系,然后生成封装airflow run的command命令,通过celery发送到executor端,重新执行该airflow run命令。scheduler命令运行过程:调度器通过SchedulerJob类run方法执行整个流程,包括使用多进程处理DagDir,包括生成Dag,产生DagRun,每个DagRun下又生成多个TaskInsta...
2018-10-29 16:01:06
4364
1
spark-network-common模块的设计原理一
2017-09-28 13:27:01
1166
Springboot jar包外指定配置文件及原理
2017-09-12 19:49:31
14211
spark2.1源码分析3:spark-rpc如何实现将netty的Channel隐藏在inbox中
2017-03-07 16:15:59
1025
spark2.1源码分析2:从SparkPi分析一个job的执行
2016-12-22 16:40:40
993
spark2.1源码分析:Win10下源码阅读环境的搭建
2016-12-22 16:06:24
5613
4
hue中使用oozie的workflow执行mr
2016-03-15 21:07:34
6180
9
非mapreduce生成Hfile,然后导入hbase当中
2016-03-05 11:53:34
822
spark streaming插入hbase
2016-03-05 11:12:54
3715
1
IDEA15使用maven编译scala和java
2016-03-05 11:07:13
1891
flume整合kafka
2016-02-27 11:09:16
586
2
在脚本中刷新impala元信息
2016-02-27 10:05:40
3220
1
不同hadoop集群之间迁移hive数据
2016-02-27 10:03:24
10768
java通过jdbc连接impala
2016-02-27 09:46:59
27964
15
mac配置impala odbc
2016-02-20 11:10:44
2539
5