--executor-memory 6G --executor-cores 2 --num-executors 15
脚本设置executors 数量15个,每个executors 6G,15*6=90G 再加上原本机器运行所需内存一共用了 103G.
每一个executors用了2个cores,15*2=30cores,机器一共有40个cores。
好奇怪,Cluster显示才用了15个cover
有没有大神说说怎么回事???
-----------------------------------------------------------------分割线---------------------------------------------------------------
找到原因了,是--executor-memory 6G 设置的太多了,导致cover上不去
将--executor-memory 3G 调小 后资源基本都用上了。