spark运行自带例子_Spark运行命令示例

local单机模式：

结果xshell可见：

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100

standalone集群模式：

需要的配置项

1, slaves文件

2, spark-env.sh

export JAVA_HOME=/usr/soft/jdk1.7.0_71

export SPARK_MASTER_IP=spark001

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=1g

standalone集群模式：

之client模式：

结果xshell可见：

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --executor-memory 1G --total-executor-cores 1 ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100

standalone集群模式：

之cluster模式：

结果spark001:8080里面可见！

./bin/spark-submit --class org.apa