Hadoop学习（2）-Hadoop集群搭建和简单应用

原文来自：扎心了，老铁的《Hadoop学习之路（四）Hadoop集群搭建和简单应用》

一、基本概念

1、主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。

主从结构分为两类：（1）一主多从；（2）多主多从。

2、Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：

（1）主节点　　从节点

（2）master　　slave

（3）管理者　　工作者

（4）leader　　follower

3、Hadoop集群中各个角色的名称：

服务	主节点	从节点
HDFS	NameNode	DataNode
YARN	ResourceManager	NodeManager

二、集群服务器规划

使用4台CentOS-6.7虚拟机进行集群搭建：

三、软件安装步骤概述

1、获取安装包

2、解压缩和安装

3、修改配置文件

4、初始化，配置环境变量，启动，验证

四、Hadoop安装

4.1、规划

规划安装用户：hadoop

规划安装目录：/home/hadoop/apps

规划数据目录：/home/hadoop/data

注：apps和data文件夹需要自己单独创建

4.2、上传解压缩

注：使用hadoop用户

[hadoop@hadoop1 apps]$ ls
hadoop-2.7.5-centos-6.7.tar.gz
[hadoop@hadoop1 apps]$ tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz 

4.3、修改配置文件

配置文件目录：/home/hadoop/apps/hadoop-2.7.5/etc/hadoop

4.3.1、hadoop-env.sh

（1）修改JAVA_HOME

[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh 

export JAVA_HOME=/usr/local/jdk1.8.0_73

4.3.2、core-site.xml

（1）fs.defaultFS ： 这个属性用来指定namenode的hdfs协议的文件系统通信地址，可以指定一个主机+端口，也可以指定为一个namenode服务（这个服务内部可以有多台namenode实现ha的namenode服务）

（2）hadoop.tmp.dir : hadoop集群在工作的时候存储的一些临时文件的目录。

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/data/hadoopdata</value>
        </property>
</configuration>

4.3.3、hdfs-site.xml

（1）dfs.namenode.name.dir：namenode数据的存放地点。也就是namenode元数据存放的地方，记录了hdfs系统中文件的元数据。

（2）dfs.datanode.data.dir： datanode数据的存放地点。也就是block块存放的目录了。

（3）dfs.replication：hdfs的副本数设置。也就是上传一个文件，其分割为block块后，每个block的冗余副本个数，默认配置是3。

（4）dfs.secondary.http.address：secondarynamenode 运行节点的信息，和 namenode 不同节点。

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/data/hadoopdata/name</value>
                <description>为了保证元数据的安全一般配置多个不同目录</description>
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/data/hadoopdata/data</value>
                <description>datanode 的数据存储目录</description>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>2</value>
                <description>HDFS 的数据块的副本存储个数, 默认是3</description>
        </property>

        <property>
                <name>dfs.secondary.http.address</name>
                <value>hadoop3:50090</value>
                <description>secondarynamenode 运行节点的信息，和 namenode 不同节点</description>
        </property>
</configuration>

4.3.4、mapred-site.xml

（1）mapreduce.framework.name：指定mr框架为yarn方式，Hadoop二代MP也基于资源管理系统Yarn来运行 。

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

4.3.5、yarn-site.xml

（1）yarn.resourcemanager.hostname：YARN总管理器的IPC通讯地址。

（2）yarn.nodemanager.aux-services：YARN集群为MapReduct程序提供的shuffle服务。

<configuration>

<!-- Site specific YARN configuration properties -->

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop4</value>
        </property>
        
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>YARN 集群为 MapReduce 程序提供的 shuffle 服务</description>
        </property>

</configuration>

4.3.6、slaves

 

4.4、把安装包分别分发给其它的节点

注意：每台服务器中的hadoop安装包的目录必须一致， 安装包的配置信息还必须保持一致。

[hadoop@hadoop1 hadoop]$ scp -r ~/apps/hadoop-2.7.5/ hadoop2:~/apps/
[hadoop@hadoop1 hadoop]$ scp -r ~/apps/hadoop-2.7.5/ hadoop3:~/apps/
[hadoop@hadoop1 hadoop]$ scp -r ~/apps/hadoop-2.7.5/ hadoop4:~/apps/

4.5、配置Hadoop环境变量

注意：

1、如果你使用root用户进行安装。 vi /etc/profile 即可 系统变量。

2、如果你使用普通用户进行安装。 vi ~/.bashrc 用户变量。

[hadoop@hadoop1 ~]$ vi .bashrc

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

# 生效环境变量
[hadoop@hadoop1 bin]$ source ~/.bashrc

4.6、查看Hadoop版本

使用hadoop version命令查看hadoop版本。

4.7、Hadoop初始化

注意：HDFS初始化只能在主节点上进行，因此需要对其进行初始化。

[hadoop@hadoop1 ~]$ hadoop namenode -format

4.8、启动

4.8.1、启动HDFS

注意：我们可以在任意一个节点启动HDFS

[hadoop@hadoop1 ~]$ start-dfs.sh
Starting namenodes on [hadoop1]
hadoop1: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-namenode-hadoop1.out
hadoop3: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop3.out
hadoop2: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop2.out
hadoop4: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop4.out
hadoop1: starting datanode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-datanode-hadoop1.out
Starting secondary namenodes [hadoop3]
hadoop3: starting secondarynamenode, logging to /home/hadoop/apps/hadoop-2.7.5/logs/hadoop-hadoop-secondarynamenode-hadoop3.out

4.8.2、启动YARN

注意：我们只能在主节点启动YARN

[hadoop@hadoop4 ~]$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-resourcemanager-hadoop4.out
hadoop2: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop2.out
hadoop3: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop3.out
hadoop4: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop4.out
hadoop1: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.7.5/logs/yarn-hadoop-nodemanager-hadoop1.out

4.9、查看4台服务器的进程

使用jps命令查看进程。

4.10、启动HDFS和YARN的web管理界面

HDFS : http://192.168.123.102:50070
YARN ： http://hadoop4:8088

疑惑： fs.defaultFS = hdfs://hadoop2:9000

解答：客户单访问HDFS集群所使用的URL地址

同时，HDFS提供了一个web管理界面 端口：50070

4.10.1、HDFS界面

 

4.10.2、YARN界面 

 

五、Hadoop的简单实用

5.1、创建文件夹

在HDFS上创建一个文件夹/test/input

[hadoop@hadoop1 ~]$ hadoop fs -mkdir -p /test/input

5.2、查看创建的文件夹

[hadoop@hadoop1 ~]$ hadoop fs -ls /
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2018-03-03 11:33 /test
[hadoop@hadoop1 ~]$ hadoop fs -ls /test
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2018-03-03 11:33 /test/input
[hadoop@hadoop1 ~]$

5.3、上传文件

（1）创建一个文件words.txt

[hadoop@hadoop1 ~]$ vi words.txt

hello zhangsan
hello lisi
hello wangwu

（2）上传到HDFS的/test/input文件夹中

[hadoop@hadoop1 ~]$ hadoop fs -put ~/words.txt /test/input

（3）查看是否上传成功

[hadoop@hadoop1 ~]$ hadoop fs -ls /test/input
Found 1 items
-rw-r--r--   2 hadoop supergroup         39 2018-03-03 11:37 /test/input/words.txt

5.4、下载文件

（1）将刚刚上传的文件下载到~/data文件夹中

[hadoop@hadoop1 ~]$ hadoop fs -get /test/input/words.txt ~/data

（2）查看是否下载成功

[hadoop@hadoop1 ~]$ ls data
hadoopdata  words.txt

5.5、运行一个mapreduce的wordcount程序

[hadoop@hadoop1 ~]$ hadoop jar ~/apps/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /test/input /test/output

（1）在YARN Web界面查看

（2）查看结果