hadoop 2.x 集群搭建

集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起

HDFS集群：

负责海量数据的存储，集群中的角色主要有NameNode / DataNode(还有SecondaryNameNode)

YARN集群：

负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

使用4个节点打架,角色分配如下:

node1	NameNode 、SecondaryNameNode、ResourceManager
node2	DataNode、NodeManager
node3	DataNode、NodeManager
node4	DataNode、NodeManager

服务器准备

使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：

Vmware 11.0

Centos  6.7 64bit

网络环境准备

  采用NAT方式联网

  网关地址：192.168.66.2

  4个服务器节点IP地址：192.168.66.3、192.168.66.4、192.168.66.5、192.168.66.6

  子网掩码：255.255.255.0

服务器系统设置

 

  添加HADOOP用户

  为HADOOP用户分配sudoer权限

  同步时间

  设置主机名

node-01

node-02

node-03

node-04

    配置内网域名映射：

192.168.66.3         node-01

192.168.66.4         node-02

192.168.66.5         node-03

192.168.66.6         node-04

配置ssh免密登陆

配置防火墙(关闭防火墙 serviceiptables stop 开启不自动启动防火墙chkconfig iptables off)

HADOOP安装部署

  上传HADOOP安装包

  规划安装目录  /home/hadoop/apps/hadoop-2.6.4

  解压安装包

  修改配置文件  $HADOOP_HOME/etc/hadoop/

最简化配置如下：

(需要将JAVA_HOME 改为安装路径,不使用$JAVA_HOME获取)

Ø  vi  hadoop-env.sh  (因为是远程启动,所以系统配置变量不可见)

# The java implementation to use. export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51

以下的配置可以都配置在任意一个文件中,但是为了方便管理所以分开配置最好。

Ø  vi  core-site.xml     (核心配置也可作为公共的配置)

<configuration> <property> <!--  配置默认文件系统 --> <name>fs.defaultFS</name> <!--  配置hdfs文件系统uri --> <value>hdfs://hdp-node-01:9000</value> </property> <property> <!--  hadoop 的临时目录--> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp/</value> </property> </configuration>

Ø  vi  hdfs-site.xml

<configuration>   <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>

Ø  vi  mapred-site.xml

<configuration> <!—指定mapreduce运行平台 yarn --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

Ø  vi  yarn-site.xml

<configuration> <!—配置yarn的resourcemanager 在那台机器上跑 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

 

 

配置hadoop的环境变量

sudo vi +/etc/profile

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

然后source /etc/profile

这样就可以在任何地方使用hadoop的命令了

 

格式化namenode目录

hadoop namenode –format

如果出现如下信息表示格式化成功。

如果格式化出现如下错误,说明hosts里面的localhost 在/etc/sysconfig/network中找不到,说明主机名更改了，但没有修改hosts文件,所有找不到本机ip对应的localhost

解决办法：

         修改host中ip和主机名的映射关系

sudo vi/etc/hosts

127.0.0.1  song

启动集群：

  分别启动的方式:

使用hadoop-daemon.shstart namenode   启动namenode

使用jps 查看是否启动成功,如果出现如下信息说明安装成功

 

  使用hadoop-daemon.shstart datanode  启动datanode

使用jps 查看是否启动成功,如果出现如下信息说明安装成功

集群很大机器很多,不可能一台一台的去敲命令来启动,所以使用该脚本启动

使用该脚本首先要配置该机器和集群中其他机器的免密登录

为什么要设置免密登录,因为脚本帮我们启动机器的原理就是:ssh 到其他机器上执行启动命令,这时候我们启动的时候要输入其他机器的密码才能ssh到这台机器上,所以当集群很大的时候,很不方便,所以需要免密登录,来直接启动，而不需要在启动的时候输入密码。

         进入hadoop的配置文件的路径

cd  /home/hadoop/apps/hadoop-2.6.4/etc/hadoop

编辑slaves 文件里面配置datanode

在里面加入datanode的ip或者主机名,多个ip以换行分隔

vi slaves

node2

node3

node4

然后在nanmenode主机上start-dfs.sh  启动HDFS集群   stop-dfs.sh 停止HDFS集群

再使用start-yarn.sh  启动yarn集群 stop-yarn.sh  停止yarn集群

上面的脚步可以在任意的机器上执行,前提是配置了该机器和其他机器的免密登录,不然需要输密码

还可以使用start-all.sh 启动hdfs和yarn 集群(This script isDeprecated. Instead use start-dfs.sh and start-yarn.sh 此脚本已弃用。而是使用start-dfs.sh和start-yarn.sh)

官方建议使用start-dfs.sh+ start-yarn.sh 来启动,