二百二十五、海豚调度器——用DolphinScheduler调度执行Flume数据采集任务

一、目的

数仓的数据源是Kafka，因此离线数仓需要用Flume采集Kafka中的数据到HDFS中

在实际项目中，不可能一直在Xshell中启动Flume任务，一是项目的Flume任务很多，二是一旦Xshell页面关闭Flume任务就会停止，这样非常不方便，因此必须在后台启动Flume任务。

所以经过测试后，发现海豚调度器也可以启动Flume任务

二、海豚调度Flume任务配置

（一）Flume在Linux中的路径

（二）Flume任务文件在Linux中的位置以及任务文件名

（三）在海豚中配置运行脚本

#!/bin/bash
source /etc/profile

/usr/local/hurys/dc_env/flume/flume190/bin/flume-ng agent -n a1 -f