https://blog.datasource.space

DolphinScheduler 1.3元数据文档。

通过` select data into outfile file.txt、load data infile file.txt into table `的方式备份表中全部数据，为什么采用这种备份方案呢？因为我这里只想要备份`t_ds_process_instance`和`t_ds_task_instance`两张表，表数据量达到百万级别，通过文件导入导出的备份效率比较高，用于备份全量数据。

想在项目中使用DS这种调度方法，通过比对几种技术，例如：NIFI，Azkaban，Airflow。NIFI虽然做的是最完善的，但是太重了，出现问题之后就需要用源码定位费劲，维护/二次开发成本高。AirFolw是Python写的，公司里大部分是Java体系和Scala体系，所以就放弃了。Apache DolphinScheduler，为Apache的开源项目，简称DS，中文名为“小海豚调度”(海豚聪明，人性化，又左右脑可相互换班，终生不用睡觉)。

Azkaban1 Azkaban定义一个完整的大数据项目，它是由许多不同的任务单元组成；比如：shell脚本，mapreduce程序，hive脚本，spark程序等哪些单元先做，哪些单元后做，需要由既定的流程，这个流程的指定就靠Azkaban这样的工作流调度工具来完成。2 常见的工作流工具crontab\oozie\azkaban\airflow等3 Azkaban官网MySQL：Azkaban使用MySQL来存储项目和执行Azkaban Web服务器：Azkaban使用Jet