Spark指令

以下指令在要关闭的worker的节点上执行:

启动某个worker：sbin/start-slave.sh 1 spark://192.168.1.120:7077

停止某个worker：sbin/stop-slave.sh 1 spark://192.168.1.120:7077

start-all.sh 作用: 启动整个集群
stop-all.sh 作用: 关闭整个集群
start-master.sh 作用: 启动master节点
stop-master 作用: 关闭master节点
start-slaves.sh 作用: 启动整个集群的slave节点
start-slave.sh 作用: 启动单节点slave

---

standalone压缩与序列化指令:

spark-shell --master spark://10.0.0.1:7077 --total-executor-cores 12 --driver-cores 3 --driver-memory 7G --executor-memory 7G --conf spark.shuffle.memoryFraction=0.4 --conf spark.storage.memoryFraction=0.8 --driver-java-options "-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" --conf spark.rdd.compress=true --conf spark.serializer=org.apache.spark.serializer.KryoSerializer --conf spark.kryoserializer.buffer.max.mb=512 --conf spark.kryoserializer.buffer.mb=10 --conf spark.shuffle.compress=true --conf spark.shuffle.consolidateFiles=true