1,提交spark任务的脚本手动能执行,cron定时任务不执行
原因是环境变量没有引入,需要在脚本中手动导入环境变量,我的在脚本最前面加入如下代码即可。./etc/profile
2,提交spark任务时,需要引入第三方包
–jars jar1,jar2 --class /…/…/main.class /…/…/jar
注:–jars一定要在–class之前,否则无效。
3,提交spark任务时,往hdfs上写文件失败。
这个是权限的问题,解决方式多种,这里提供一种,在提交任务的脚本里加上sudo -u hdfs。