hadoop-2.5.0-cdh5.3.6集群搭建

安装环境说明

操作系统：CentOS 6.5
hadoop版本：hadoop-2.5.0-cdh5.3.6.tar.gz
jdk版本：jdk 1.7
安装用户：root
相关软件下载
https://pan.baidu.com/s/1drI1TO

机器与服务规划

机器规划

服务规划

安装hadoop包

1.下载hadoop-2.5.0-cdh5.3.6.tar.gz

安装目录为：/usr/local
将下载的hadoop-2.5.0-cdh5.3.6.tar.gz，上传到/usr/local目录下。

2.将hadoop包进行解压缩

tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz

3.对hadoop目录进行重命名

mv hadoop-2.5.0-cdh5.3.6 hadoop

4. 配置hadoop相关环境变量

#配置环境变量
vi /etc/profile
#添加hadoop环境变量
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#使配置的环境变量生效
source  /etc/profile

5.测试是否配置成功

hadoop version
yarn version

修改配置文件

以下配置文件在：/usr/local/hadoop/etc/hadoop/目录下

1.修改core-site.xml
属性说明：fs.default.name：配置hdfs地址

<property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop102:9000</value>
</property>

2.修改hdfs-site.xml
属性说明：dfs.replication：hdfs副本数。
总共3个节点，1个master，2个slave。所以设置成2个block副本

<property>
  <name>dfs.name.dir</name>
  <value>/usr/local/data/namenode</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/usr/local/data/datanode</value>
</property>
<property>
  <name>dfs.tmp.dir</name>
  <value>/usr/local/data/tmp</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

3.修改mapred-site.xml
重命名mapred-site.xml.template为mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

4.修改yarn-site.xml

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop102</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

5.修改slaves文件

hadoop103
hadoop104

6.在hadoop-env.sh 中添加JAVA_HOME的环境

export JAVA_HOME=/usr/java/latest

在另外两台机器上搭建hadoop

使用如上hadoop102上配置hadoop，在另外两台机器上搭建hadoop。可以使用scp命令将hadoop102上面的hadoop安装包和 /etc/profile 配置文件都拷贝到hadoop103、hadoop104。

1.将hadoop102上的hadoop复制到hadoop103
在Hadoop02上执行

cd /usr/local
scp -r hadoop root@hadoop103:/usr/local
scp /etc/profile root@hadoop103:~/

复制成功后hadoop103上的hadoop：

在hadoop103上执行

#对 /etc/profile文件进行source，以让它生效。
source /etc/profile
#创建data目录。
mkdir /usr/local/data

将hadoop102上的hadoop复制到hadoop103
按照上面同样的步骤，同样的方式将hadoop102上面的hadoop安装包和/etc/profile配置文件都拷贝到hadoop103。

测试hadoop103、hadoop104是否配置成功
在hadoop103、hadoop104分别执行如下命令：

hadoop version
yarn version

启动hdfs集群

1.格式化namenode
在hadoop102上执行以下命令

hdfs namenode -format

表示格式化成功的标志：

2.启动hdfs集群
start-dfs.sh

3.验证启动是否成功
hadoop102：namenode、secondarynamenode

hadoop103：datanode

hadoop104：datanode

4.hdfs管理界面：
http://hadoop102:50070

测试hdfs

hdfs dfs -put hello.txt /1.txt

启动yarn集群
1.启动yarn集群

start-yarn.sh

验证启动是否成功
hadoop102：resourcemanager

hadoop103：nodemanager

hadoop103：nodemanager

yarn管理界面
http://hadoop102:8088/