hadoop集群下spark安装

ps：hadoop集群版本Hadoop 2.0.0-cdh4.2.2

1. 升级jdk

1）下载jdk7.0+（http://www.oracle.com/technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html）

2）解压jdk安装包至/usr/java目录下

3）编辑/etc/profile文件，更正/添加如下内容：

export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

2.安装scala（版本为2.10.x）

1）利用wget下载scala安装包（http://www.scala-lang.org/download/all.html）

2）解压scala安装包，并拷贝到指定目录

tar -zxvf  scala-2.10.6.tgz

cp scala-2.10.6 /usr/lib

3）编辑/etc/profile文件，添加如下内容：

export SCALA_HOME=/usr/lib/scala-2.10.6
export PATH=$SCALA_HOME/bin:$PATH

4）使profile文件配置生效

source /etc/profile

5）检验是否安装成功

scala -version

3.安装spark（版本需与hadoop的版本相对应）

0）网页监控

在web浏览器打开 http:// < driver-node >:8080就可以访问该接口

1）下载spark安装包（http://spark.apache.org/downloads.html）

2）解压spark安装包，并拷贝到指定目录

tar -zxvf spark-1.5.2-bin-cdh4.tgz

cp spark-1.5.2-bin-cdh4 /usr/local

3）编辑/etc/profile文件，添加如下内容：

export SPARK_HOME=/usr/local/spark-1.5.2-bin-cdh4
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

4）使profile文件配置生效

source /etc/profile

5）将SPARK_HOME/conf/spark-env.sh.template文件重命名或拷贝至spark-env.sh文件，添加如下内容：

export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export SPARK_MASTER_IP=192.168.60.31
export SPARK_LOCAL_IP=hadoop06 #在slave节点上，应替换为相应的本地ip
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_PORT=7077
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.5.2-hadoop2.0.0-mr1-cdh4.2.0.jar

6）将SPARK_HOME/conf/spark-default.sh.template文件重命名或拷贝至spark-default.sh文件，添加如下内容：

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://192.168.60.31:8020/var/log/spark #hdfs-site.xml中的dfs.permissions应设置为false

7）创建日志目录并修改权限

hadoop fs -mkdir /var/log/spark

hadoop fs -chmod 777 /var/log/spark

8）将SPARK_HOME/conf/slaves.template文件重命名或拷贝至slaves文件，添加如下内容：

hadoop02.ihep.ac.cn
hadoop03.ihep.ac.cn
hadoop04.ihep.ac.cn
hadoop05.ihep.ac.cn

9）将/usr/local/spark-1.5.2-bin-cdh4、/usr/lib/scala-2.10.6、/etc/profile、/usr/java/jdk1.7.0_67-cloudera拷贝到相关集群节点上

10）修改HDFS权限

hdfs dfs -chmod 777 /tmp/hive

11）启动spark

/usr/local/spark-1.5.2-bin-cdh4/sbin/start-all.sh