crontab 每天凌晨12点定时器_crontab定时器执行spark任务入数据到mysql不报错没数据得解决措施...

最近搭建生产集群移转代码得时候发现使用linux自带crontab定时器执行spark定时任务老是执行不了,不对啊,同样的代码手动执行就OK,怎么换了定时器就不执行了呢,这时候百度了一下,发现应该是环境变量的问题,我们手动执行的时候是因为主机已经自行刷新了环境变量,使用定时器得时候本身可能没有刷新,这时候就需要我们手动刷新 ,如果你是写的脚本,那就在脚本开头加入 source /etc/profile  或者你需要引入什么你就export xxx ,如果是直接在定时器里面执行命令 那就在时间之后加上. /etc/profile (注意.和/中间有空格),但是这个并没有解决我的问题,我发现凌晨执行的定时任务入redis和hdfs都没有问题,只有入库mysql得没有数据,找了好几天原因,终于功夫不负有心人,

e08b77b792016f3274834f63d22593ff.png

我这边用的是8X版本得mysql,驱动要使用

com.mysql.cj.jdbc.Driver

URL后面要加入时区为Asia/Sshanghai,否则入库时间类型数据会和本地时间差8个小时,就是这8个小时,导致凌晨数据入库不成功,当然如果8点之后执行还是会成功。

下述为定时器执行案例模式,本案例追加运行日志到/data12/oidd/log.log文件中,如果你不想看日志尽量直接/dev/null 2>&1加入黑洞,前提是你已经手机了必要得日志信息,否则时间推移日志会占用大量存储空间。

5a78665f6d96608d5e1330fd803ca6ad.png

  • 0
    点赞
  • 0
    收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
评论
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值