Hadoop集群的安装

4.1 HADOOP集群搭建

4.1.1集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起

HDFS集群：

负责海量数据的存储，集群中的角色主要有 NameNode / DataNode

YARN集群：

负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

(那mapreduce是什么呢？它其实是一个应用程序开发包)

 

本集群搭建案例，以5节点为例进行搭建，角色分配如下：

hdp-node-01    NameNode  SecondaryNameNode hdp-node-02    ResourceManager hdp-node-03              DataNode    NodeManager hdp-node-04              DataNode    NodeManager hdp-node-05              DataNode    NodeManager

部署图如下：

 

4.1.2服务器准备

本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：

•   Vmware 11.0
•   Centos  6.5  64bit

 

4.1.3网络环境准备

•   采用NAT方式联网
•   网关地址：192.168.33.1
•   3个服务器节点IP地址：192.168.33.101、192.168.33.102、192.168.33.103
•   子网掩码：255.255.255.0

4.1.4服务器系统设置

•   添加HADOOP用户
•   为HADOOP用户分配sudoer权限
•   同步时间
•   设置主机名

1.   hdp-node-01
2.   hdp-node-02
3.   hdp-node-03

•   配置内网域名映射：

1.   192.168.33.101          hdp-node-01
2.   192.168.33.102          hdp-node-02
3.   192.168.33.103          hdp-node-03

•   配置ssh免密登陆
•   配置防火墙

 

4.1.5 Jdk环境安装

•   上传jdk安装包
•   规划安装目录  /home/hadoop/apps/jdk_1.7.65
•   解压安装包
•   配置环境变量 /etc/profile

4.1.6 HADOOP安装部署

补充： HADOOP的版本选择

1、APACHE官方版本

      大版本：  0.20.2

                1.x

                2.x       2.6.4   2.7.3

2、商业发行版（商业版提供完善的管理系统、修bug可能领先于官方）：

       Cloudera公司的CDH：5.7.x

 

 

•   上传HADOOP安装包
•   规划安装目录  /root/apps/hadoop-2.6.1
•   解压安装包
•   修改配置文件  $HADOOP_HOME/etc/hadoop/

最简化配置如下：

vi  hadoop-env.sh

# The java implementation to use. export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51

 

 

vi  core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hdp-node-01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value> </property> </configuration>

vi  hdfs-site.xml

<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/data/name,/path2/,/path3/,nfs://</value> </property> <!---namenode配置多个目录和datanode配置多个目录，有什么区别？----> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/data/data,/path2/</value> </property>   <property> <name>dfs.replication</name> <value>3</value> </property>   <property> <name>dfs.secondary.http.address</name> <value>hdp-node-01:50090</value> </property> </configuration>

 

 

 

vi  mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

 

vi  yarn-site.xml

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property>   <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

 

vi  salves

hdp-node-01 hdp-node-02 hdp-node-03

 

 

4.1.7 启动集群

初始化HDFS

bin/hadoop  namenode  -format

 

启动HDFS

sbin/start-dfs.sh

 

启动YARN

sbin/start-yarn.sh

4.1.8 测试

1、上传文件到HDFS

从本地上传一个文本文件到hdfs的/wordcount/input目录下

[HADOOP@hdp-node-01 ~]$ HADOOP fs -mkdir -p /wordcount/input [HADOOP@hdp-node-01 ~]$ HADOOP fs -put /home/HADOOP/somewords.txt  /wordcount/input

 

2、运行一个mapreduce程序

在HADOOP安装目录下，运行一个示例mr程序

cd $HADOOP_HOME/share/hadoop/mapreduce/ hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input  /wordcount/output

转载于:https://www.cnblogs.com/shelock2017/p/6670706.html