小记--------手动执行脚本正常执行,使用crontab定时执行时 不执行

可能出现的原因就是因为crontab不会从用户的/etc/profile文件中读取环境变量,所以就出现 使用定时crontab执行时 无法执行 抛错

所以在使用crontab 定时执行脚本时  在脚本中尽量使用绝对路径,除去全局变量以外

解决方法: 

1.

 

 直接把/etc/profile文件中配置的spark的环境变量写到脚本的开头,使它在执行脚本之前先加载spark的环境变量即可

2.直接在脚本中添加即可

#!/bin/bash
#此处添加如下
./etc/profile
 num_executors=3
 executor_memory=2g
 driver_memory=2g
 executor_cores=2
 realtime_queue=root
 # backpressure
 receiver_max_rate=100
 receiver_initial_rate=30
 my_job_name="cron"
 main_class="com.df.Crontab_reservation"

 spark-submit --master yarn --deploy-mode cluster \
 --name ${my_job_name} \
 --class ${main_class} \

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值