spark环境安装
一. 下载安装
下载地址:http://spark.apache.org/downloads.html
Standalone模式的spark集群虽然不依赖于yarn,但是数据文件存在hdfs,所以需要hdfs集群启动成功
这里下载包也要根据hadoop集群版本启动
比如hadoop2.5.2需要下载spark-1.4.0-bin-hadoop2.4.tgz
下载解压进入解压缩目录
二.配置启动
进入conf目录发现只有slaves.template和spark-env.sh.template,这里可以拷贝一份把template的后缀去掉
配置slaves,里面配置从节点的主机名或者ip,例如
vim slaves
node1
node2
node3
配置spark-env.sh,和JAVA_HOME
export JAVA_HOME=/opt/soft/jdk1.7.0_79
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=512m
注意:如果想要跑spark on yarn则需要配置HADOOP_CONF_DIR
在spark-env.sh或者/etc/profile下面配置都可以
二. 测试
访问192.168.57.4:8080能看到web界面
执行命令./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
附录:
不同运行模式的命令不同
1. standalone client模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
2. standalone cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --deploy-mode cluster --supervise --executor-memory 512M --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
3. on yarn client模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
4. on yarn cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100