spark集群搭建

 
 
文件路径:scala,jdk及spark解压路径均在/usr/local/

一、安装scala

(1)下载scala
wget http://downloads.typesafe.com/scala/2.10.5/scala-2.10.5.tgz

(2)解压文件
tar -zxvf scala-2.10.5.tgz

(3)配置scala环境变量
#vi/etc/profile
export SCALA_HOME=/usr/local/scala-2.10.5
export PATH=$PATH:$SCALA_HOME/bin

$ source /etc/profile

(4)验证scala



二、删除openjdk,安装sun jdk

(1)删除openjdk
rpm -qa | grep java
rpm -qa | grep gcj
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.71-2.5.3.1.el6.x86_64
rpm -e --nodeps libgcj-4.4.7-11.el6.x86_64
验证是否删除成功
 java -version
-bash: /usr/bin/java: No such file or directory
(2)下载jdk

(3)配置jdk环境变量
#vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_79
export JRE_HOME=/usr/local/jdk1.7.0_79/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

(4)使用 alternatives指定java版本,用jdk的java代替gcj的

alternatives --install /usr/bin/java java /usr/local/jdk1.7.0_79 2 #配置java版本
alternatives --config java#选择java版本



注意:
①alternatives只能在root权限下执行
②如果使用alternatives --install <name> <path>  <优先级>配置错误了路径,可以使用 alternatives --remove java <path>删除错误路径

三、安装spark

 (2)解压

  tar -zxvf spark-1.3.1-bin-hadoop2.4.tgz
(3)配置环境变量
#vi/etc/profile
export SPARK_HOME=/usr/local/spark-1.3.1-bin-hadoop2.4
export PATH=$PATH:$SPARK_HOME/bin

$ source /etc/profile

(4)修改spark配置文件
cd /usr/local/spark-1.3.1-bin-hadoop2.4/conf
①spark-env.sh
cp spark-env.sh.template spark-env.sh

#打开 spark-env.sh,在最后添加如下内容:
export SCALA_HOME=/usr/local/spark-1.3.1-bin-hadoop2.4
export JAVA_HOME=/usr/local/jdk1.7.0_79
export SPARK_MASTER_IP=192.168.1.34
export SPARK_WORKER_MEMORY=512m
export master=spark://192.168.1.34:7070

②slaves
cp slaves.template slaves

#打开slaves,在最后添加如下内容:
master
slave1
slave2

(5)启动spark
cd /usr/local/spark-1.3.1-bin-hadoop2.4/sbin
sh start-all.sh 

(6)打开浏览器查看集群状况




©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页