![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
airflow
hqxzcy
这个作者很懒,什么都没留下…
展开
-
走读airflow学到的东东
自动发掘dag实例import imp def process_file(self, filepath): mod_name, file_ext = os.path.splitext(os.path.split(filepath)[-1]) if file_ext != '.py': return try: logging.info("Importing " + filepath) .原创 2020-05-15 13:53:16 · 305 阅读 · 0 评论 -
走读airflow
flux:1f6f53872f8d1706bc8257f15104384499c01e0e===shell execshell 的内件命令exec执行命令时,不启用新的shell进程,exec是用被执行的命令行替换掉当前的shell进程,且exec命令后的其他命令将不再执行。例如在当前shell中执行 exec ls 表示执行ls这条命令来替换当前的shell 即为执行完后会退出当前shell。一般将exec命令放到一个shell脚本中,用主脚本调用这个脚本,调用处可以用bash xx.sh.原创 2020-05-15 13:49:38 · 184 阅读 · 0 评论 -
代码走读 airflow 2
1.8.1===================================================================1 max_threads :同时起这么多个进程处理pyfile2 file_process_interval:在这么长时间(秒)中,一个文件最多执行一次3 run_duration:scheduler的循环什么时候退出4 DagStat中的信息是对DagRun中state的一个统计5 每个...原创 2020-05-15 13:47:36 · 336 阅读 · 0 评论