大数据学习笔记（五）-spark demo 运行【原创】

spark 有四种运行模式：
1）local模式(单机模式）
2）standalone模式（伪分布模式）
3）yarn-client模式（driver运行在客户端，可通过4040端口查看客户端运行状态,client全程参与调度）
4）yarn-cluster模式（driver运行在服务端，需通过yarn-cluster的8088端口查看,client在提交完job之后就可以关闭了）

[b]切换到SPARK_HOME目录[/b]

cd /usr/local/spark-2.1.0-bin-hadoop2.7

[b]1. local模式[/b]

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.0.jar

[img]http://dl2.iteye.com/upload/attachment/0123/2376/56de90af-2df9-3a06-abe3-8c6362563f9d.png[/img]

[b]2. standalone模式[/b]

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master.hadoop.zjportdns.gov.cn:7077 examples/jars/spark-examples_2.11-2.1.0.jar

[b]3. yarn-client模式[/b]
[i]3.4两种需要启动hadoop, 并设置环境变量。[/i]

echo -e "export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.3/etc/hadoop" >> /etc/profile
source /etc/profile

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client examples/jars/spark-examples_2.11-2.1.0.jar

访问：http://master.hadoop.zjportdns.gov.cn:4040/jobs

[b]4. yarn-cluster模式[/b]

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.1.0.jar

访问：http://master.hadoop.zjportdns.gov.cn:8088/cluster
[img]http://dl2.iteye.com/upload/attachment/0123/2378/b13ff379-e4ca-31e4-af56-ad254c606c5e.png[/img]