目录
解压到安装目录并更改名字
tar zxvf /h3cu/spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local/src/
mv /usr/local/src/spark-2.0.0-bin-hadoop2.6 /usr/local/src/spark
修改配置文件
进入conf目录
cd /usr/local/src/spark/conf/
重命名spark-env.sh.template
mv spark-env.sh.template spark-env.sh
编辑spark-env.sh
vim spark-env.sh
# Options for the daemons used in the standalone deploy mode
SPARK_MASTER_HOST=slave #主机名
SPARK_MASTER_PORT=7077 #端口号
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
SPARK_WORKER_CORES=1 #worker核心数
SPARK_WORKER_MEMORY=500m #worker内存
重命名slaves.template
mv slaves.template slave
添加主机名
vim slaves
#删除默认的localhost
slave #第一台主机
slave1 #第二台主机
slave2 #第三台主机
配置环境变量
spark和Hadoop两个环境变量不要一起配,可能会起冲突
vim /root/.bash_profile
#spark
export SPARK_HOME=/usr/local/src/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export PATH
进入sbin目录,修改spark-config.sh文件
cd /usr/local/src/spark/sbin
vim spark-config.sh
#spark
export JAVA_HOME=/usr/local/src/jdk
拷贝到另外两台机器
scp -r /usr/local/src/spark slave1:/usr/local/src
scp -r /usr/local/src/spark slave2:/usr/local/src
启动spark
http://172.16.24.200:8080/
start-all.sh
在网页中查看
解压到安装目录
tar zxvf /h3cu/scala-2.11.0.tgz -C /usr/local/src/
配置环境变量
vim /root/.bash_profile
#scala
export SCALA_HOME=/usr/local/src/scala
export PATH=/usr/local/src/scala/bin:$PATH
启动spark shell
spark-shell --master spark://slave:7077