linux设置每天自动上传文件到hdfs,并自动处理mapreduce任务

1.新建文件 vi putHdfs.sh

2.在文件中加入以下内容:

source /etc/profile //要把hadoop的环境变量引入进来

filename=`date +%Y%m%d`

hadoop fs -put /data/$filename/*.txt /QW/XX

3.输入命令 crontab -e ，加入以下内容

19 16 * * * source /root/putHdfs.sh //每天的16：19上传文件

1.设置自动处理mapreduce任务

新建auto.sh文件，加入以下内容

source /etc/profile

hdoop jar /data/hadoop-1.0.2/test.jar 类名

2.输入命令 crontab -e ，加入以下内容

40 16 * * * source /root/auto.sh //执行任务要在上传文件之后，注意时间要隔开