搭建hadoop/spark集群环境

为什么80%的码农都做不了架构师？>>>   

hadoop2.5.2的安装可以参照

http://my.oschina.net/sucre/blog/700159

jdk下载地址

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

hadoop下载地址

http://mirrors.cnnic.cn/apache/hadoop/common/

这篇文章中没有说配置环境的事，我在这里简单说一下，为了能使虚机启动后环境变量就直接可用，我将jdk和hadoop直接配置到~/.bashrc文件中

# set java environment
export JAVA_HOME=/usr/lib/java/jdk1.7.0_71
export SCALA_HOME=/usr/lib/scala/scala-2.11.4
export SPARK_HOME=/usr/local/spark/spark-1.2.0-bin-hadoop2.4
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/local/hadoop/hadoop-2.5.2/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

 

配置完成后，使用source使命令生效

除此之外，在进行配制前要前将本地的hostname和hosts进行修改

vim /etc/profile
vim /etc/hosts

对于hostname主节点修改为master，分支节点修改为slave1/slave2/salve3.........

对于hosts里面要添加主从节点的host

master 192.168.1.3
slave1 192.168.1.10
slave2 192.168.1.20

 

我主要说一下spark集群的安装

先去scala和spark的官网下载scala-2.11.4.tgz、spark-1.2.0-bin-hadoop2.4.tgz
安装scala
创建目录

mkdir /usr/lib/scala

 

在新建的目录中解压scala

tar zxvf scala-2.11.4.tgz

 

将scala添加到环境变量中

vim ~/.bashrc

 

在文件最下面添加

export SCALA_HOME=/usr/lib/scala/scala-2.11.4
export PATH=$PATH:$SCALA_HOME/bin

 

保存退出后，用source使命令生效

source ~/.bashrc

 

查看scala是否安装成功

[root@master scala]# scala -version
Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL

 

这样在master上就完成了scala的安装，由于spark要运行在master、slave1、slave2三个虚机上，所以我们可以用scp命令将~/.bashrc从master拷贝到slave机器上

安装spark

创建目录

mkdir /usr/local/spark

 

将已下载的spark-1.2.0-bin-hadoop2.4.tgz解压到此目录中

tar zxvf spark-1.2.0-bin-hadoop2.4.tgz

 

设置环境变量

vim ~/.bashrc

 

在文件中添加一行

export SPARK_HOME=/usr/local/spark/spark-1.2.0-bin-hadoop2.4

 

修改文件的PATH为

export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin

 

如果要把jdk和hadoop也一起加入的话，那最后结果为

# set java environment
export JAVA_HOME=/usr/lib/java/jdk1.7.0_71
export SCALA_HOME=/usr/lib/scala/scala-2.11.4
export SPARK_HOME=/usr/local/spark/spark-1.2.0-bin-hadoop2.4
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/local/hadoop/hadoop-2.5.2/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

 

使用source使命令生效

source ~/.bashrc

 

配制spark，进入到spark的conf目录

[root@master scala]# cd /usr/local/spark/spark-1.2.0-bin-hadoop2.4/conf

 

使用cp命令复制一份spark-env.sh

 cp spark-env.sh.template spark-env.sh

 

修改此文件，在文件末尾添加

###jdk安装目录
export JAVA_HOME=/usr/lib/java/jdk1.7.0_71
###scala安装目录
export SCALA_HOME=/usr/lib/scala/scala-2.11.4
###spark集群的master节点的ip
export SPARK_MASTER_IP=192.168.1.3
###指定的worker节点能够最大分配给Excutors的内存大小
export SPARK_WORKER_MEMORY=1g
###hadoop集群的配置文件目录
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.5.2/etc/hadoop

 

修改conf目录下面的slaves文件将worker节点都加进去

[root@master conf]# cat slaves
# A Spark Worker will be started on each of the machines listed below.
master
slave1
slave2

 

保存退出，这样master中spark就安装完成了，slave节点和maser一样的设置

成功后如下图

 

另外说一些实用的界面

查看spark-shell状态

http://master:4040/stages/

 

查看sprak中worker的状态

http://master:8080

 

 

查看dfs(datanode)的状态

http://master:50070

 

 

查看nodes的状态

http://master:8088

 

转载于:https://my.oschina.net/sucre/blog/360286