是
今天在spark集群测试时,使用的命令如下:
spark-submit --master spark://node01:7077 --class com.kaikeba.com.kaikeba.WordCountOnSpark --executor-memory 1g --total-executor-cores 2 /kkb/install/spark/datas/original-spark01-0.0.1.jar /kkb/install/spark/datas/words.txt /kkb/install/spark/datas/out2
然后运行了了很久,一直报文件找不到,文件的路径没有问题,感觉很头疼,spark文件配置都正确,但是还是报错,

经过查看spark web页面,才发现我在填写--total-executor-core时,写的是2个,但是我每个虚拟机上配置只有一个,所以更改--total-excutor-core 更改为1后,运行正常,并输出结果;
3572

被折叠的 条评论
为什么被折叠?



