压榨spark集群性能

查看linux的相关性能

#查看cpu有几核
cat /proc/cpuinfo |grep processor |wc -l
# 查看内存有多大
free -g

分析

假设三台服务器,跑master的机器有1核8G,另外两台1核4G,因为master服务器占用的资源较多,所以综合下来,三台服务一共3cpu,12G,但是综合到每台机器上只能1cpu,2gb

执行命令

bin/spark-submit --master yarn --py-files /root/defs.py --executor-memory 2g --executor-cores 1 --num-executors 3 /root/main.py