本文介绍了如何在Linux系统中利用crontab来定时执行spark-submit任务。首先，需要安装crontab并通过yum命令进行安装。接着，创建一个包含spark-submit命令的shell脚本，并设置crontab定时任务，例如每天凌晨00:01执行。为了确保环境变量正确，可以在脚本中引入或在crontab命令中直接引入。此外，提供了crontab时间表达式的实例，如每五分钟、每个工作日23:59、每分钟及每月1号14:10执行命令。
项目部署时，一些批处理工作可能需要定时执行，如每天进行统计、每天清理系统垃圾、定期进行ETL工作等等都需要定时执行命令。在Linux中，定时通过spark-submit提交任务可使用crontab来实现。
1.安装crontab。CentOS系统并未自带crontab,可使用yum安装
yum install vixie-cron crontabs2.将需要执行的spark-submit命令做成shell脚本。即创建sh文件，如sparkShell.sh文件，内容为：
#!/bin/bash
spark-submit /usr/zlp/wbfiveconnectins.jar > /usr/zlp/log1229.out
3.编辑crontab
crontab -e随即进入vim界面，输入
1 0 * * * . /etc/profile;/bin/sh /usr/zlp/sparkShell.sh
最低0.47元/天 解锁文章
扫一扫
1550
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
