1.如果没安装 需要安装 scala,因为spark需要
同时在 /etc/profile 增加
export SCALA_HOME=/scal路径/scala-2.11.7
export PATH=$SCALA_HOME/bin:$PATH
执行 source /etc/profile 使配置文件生效
2.下载spark安装包
3. 解压安装包
tar -zxvf
spark-1.5.1-bin-hadoop2.6.tgz
4.配置spark配置文件
1> 在 conf目录下重命名
spark-env.sh.template为 spark-env.sh
并增加如下内容
#JDK安装目录
JAVA_HOME=/usr/java/default
#Scala安装目录
SCALA_HOME=/path/scala-2.11.7
#spark 目录
export SPARK_HOME=/data0/opt/spark-1.5.1-bin-hadoop2.6
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:
SPARK_MASTER_IP=192.168.1.10 //masterIP
export SPARK_WORKER_MEMORY=2g //工作内存
2> 在conf 目录下 重命名
slaves.template 为
slaves 并增加内容
Master
Slave1
Slave2
3>在 /etc/hosts配置
192.168.1.10 Master
192.168.1.11 Slave1
192.168.1.12 Slave2
4> 执行 source /etc/hosts 使配置生效
拷贝配置好的spark 到11,12机器
./sbin/start-all.sh 启动 spark
在WEB页面访问 http://192.168.1.10:8080可以看到配置的 worker
启动客户端
执行 ./bin/spark-shell