在spark集群上运行一个shell脚本,出现错误:
出现这个问题的原因是shell脚本中没有指定主资源,这是因为我在shell脚本中有多个jar包,但都用来作为依赖资源而没有指定主资源。
类似运行如下的指令会出现这个错误:
./bin/spark-submit --class Sentimenter --master local[4] --jars /home/ubuntu/spark/spark-example-master/target/scala-2.10/Sentiment_Analysis-assembly-1.0.jar
解决方法就是去掉 --jars。
这是因为这里只有一个jar包,所以去掉–jars就可以了。
如果是有多个jar包,那么其他的jar包还是在–jars指令下,jar包之间用逗号隔开,而作为主资源的jar包不能放在–jars指令后面,应和前面的jar包用空格隔开。