ps:hadoop集群版本Hadoop 2.0.0-cdh4.2.2
1. 升级jdk
1)下载jdk7.0+(http://www.oracle.com/technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html)
2)解压jdk安装包至/usr/java目录下
3)编辑/etc/profile文件,更正/添加如下内容:
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
2.安装scala(版本为2.10.x)
1)利用wget下载scala安装包(http://www.scala-lang.org/download/all.html)
2)解压scala安装包,并拷贝到指定目录
tar -zxvf scala-2.10.6.tgz
cp scala-2.10.6 /usr/lib
3)编辑/etc/profile文件,添加如下内容:
export SCALA_HOME=/usr/lib/scala-2.10.6
export PATH=$SCALA_HOME/bin:$PATH
4)使profile文件配置生效
source /etc/profile
5)检验是否安装成功
scala -version
3.安装spark(版本需与hadoop的版本相对应)
0)网页监控
在web浏览器打开 http:// < driver-node >:8080
就可以访问该接口
1)下载spark安装包(http://spark.apache.org/downloads.html)
2)解压spark安装包,并拷贝到指定目录
tar -zxvf spark-1.5.2-bin-cdh4.tgz
cp spark-1.5.2-bin-cdh4 /usr/local
3)编辑/etc/profile文件,添加如下内容:
export SPARK_HOME=/usr/local/spark-1.5.2-bin-cdh4
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
4)使profile文件配置生效
source /etc/profile
5)将SPARK_HOME/conf/spark-env.sh.template文件重命名或拷贝至spark-env.sh文件,添加如下内容:
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export SPARK_MASTER_IP=192.168.60.31
export SPARK_LOCAL_IP=hadoop06 #在slave节点上,应替换为相应的本地ip
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_PORT=7077
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.5.2-hadoop2.0.0-mr1-cdh4.2.0.jar
6)将SPARK_HOME/conf/spark-default.sh.template文件重命名或拷贝至spark-default.sh文件,添加如下内容:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://192.168.60.31:8020/var/log/spark #hdfs-site.xml中的dfs.permissions应设置为false
7)创建日志目录并修改权限
hadoop fs -mkdir /var/log/spark
hadoop fs -chmod 777 /var/log/spark
8)将SPARK_HOME/conf/slaves.template文件重命名或拷贝至slaves文件,添加如下内容:
hadoop02.ihep.ac.cn
hadoop03.ihep.ac.cn
hadoop04.ihep.ac.cn
hadoop05.ihep.ac.cn
9)将/usr/local/spark-1.5.2-bin-cdh4、/usr/lib/scala-2.10.6、/etc/profile、/usr/java/jdk1.7.0_67-cloudera拷贝到相关集群节点上
10)修改HDFS权限
hdfs dfs -chmod 777 /tmp/hive
11)启动spark
/usr/local/spark-1.5.2-bin-cdh4/sbin/start-all.sh