hadoop平台搭建spark (学习交流请加群:385215695)
三台机器
master
slave1
slave2
--安装配置scala master 节点
三台机器
master
slave1
slave2
--安装配置scala master 节点
tar -zxvf scala-2.12.2.tgz
/etc/profile
export SCALA_HOME=/usr/scala-2.12.2
export PATH=$SCALA_HOME/bin:$PATH
scala -version
复制到slave 并配置环境变量
scp -r scala-2.12.2
root@slave1:/usr/
scp -r scala-2.12.2
root@slave2:/usr/
---安装spark 在master节点运行
tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz
vi /etc/profile
export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
最终变量
export HADOOP_HOME=/usr/hadoop-2.7.3
export SCALA_HOME=/usr/scala-2.12.2
export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7
export PATH=$PATH:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
配置
1.spark-env.sh
cp spark-env.sh.template spark-env.sh
修改此文件,在文件末尾添加
###jdk安装目录
export JAVA_HOME=/usr/java/jdk1.8.0_101
###scala安装目录
export SCALA_HOME=/usr/scala-2.12.2
###spark集群的master节点的ip
export SPARK_MASTER_IP=192.168.58.10
###指定的worker节点能够最大分配给Excutors的内存大小
export SPARK_WORKER_MEMORY=1g
###hadoop集群的配置文件目录
export HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop
2.slaves
cp slaves.template slaves
master
slave1
slave2
将spark文件和环境变量复制到slave节点
scp -r spark-2.1.1-bin-hadoop2.7
root@slave1:/usr/
scp -r spark-2.1.1-bin-hadoop2.7
root@slave2:/usr/
如果没有设置节点ip不用管下面的
在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh,
将export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2对应节点的IP。
spark启动与关闭 保证hadoop已经运行
启动 进入到spark目录
./sbin/start-all.sh
关闭
./sbin/stop-all.sh
---验证
spark-shell
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29615265/viewspace-2139618/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/29615265/viewspace-2139618/