crontab定时提交Spark任务

最新推荐文章于 2022-11-30 12:00:00 发布

睡了皮皮虾

最新推荐文章于 2022-11-30 12:00:00 发布

阅读量1.5k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/bianenze/article/details/79923401

版权

spark 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

Centos 6.5系统下crontab默认自动开启

1、编写一个crontab脚本，命名规则*.cron

2、用vi 打开这个脚本添加定时任务，格式如下

# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |

# * * * * * user-name command to be executed

例如：我想24:00执行任务

0 0 * * * /usr/local/spark-2.1.1/bin/spark-submit --master yarn-cluster --driver-memory 1500m --executor-memory 10g --executor-cores 1 --class spark_bowtie2 ~/Sparkbb-1.0-SNAPSHOT.jar -x /home/spark/hg38index/index -1 /ERR047877.fastq -2 /ERR047877_2.filt.fastq -S bbtest -P 20

例如：我想2:10执行任务

10 2 * * * /usr/local/spark-2.1.1/bin/spark-submit --master yarn-cluster --driver-memory 1500m --executor-memory 10g --executor-cores 1 --class spark_bowtie2 ~/Sparkbb-1.0-SNAPSHOT.jar -x /home/spark/hg38index/index -1 /ERR047877.fastq -2 /ERR047877_2.filt.fastq -S bbtest -P 30

编辑完后保存退出

执行命令 “crontab crontest.cron”将任务添加

随后可以用crontab -l 查看计划

想要修改或者删除用 crontab -e 编辑脚本即可