Hadoop组成、HDFS、YARN、 MapReduce、 Hadoop环境搭建

1.Hadoop组成

1.x:

HDFS:数据存储

MapReduce:计算+资源调度

2.x

HDFS:数据存储

MapReduce:计算

Yarn资源调度

（MapReduce运行在Yarn上）

2. HDFS架构概述

是一个分布式文件系统

1.NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性，以及每个文件的块列表和块所在的DataNode等

2.DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

3.Secondary NameNode(2nn)：没隔一段时间对NameNode元数据备份

3.YARN架构概述

Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器。

1）ResourceManager（RM）：整个集群资源（内存、CPU等）的老大

2）NodeManager（NM）：单个阶段服务器资源老大

3）ApplicationMaster（AM）：单个任务运行的老大

4）Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等

4. MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce。

（1）Map阶段并行处理输入数据

（2）Reduce阶段对Map结果进行汇总

5. Hadoop环境搭建：

模板机要求：

        1.最小化安装

        2.安装一些必要软件

        3.修改IP为静态IP

        4.修改主机名和hosts映射文件

        5.关闭防火墙并且关闭开机自启

        6.创建普通用户at  并且配置sudo权限

        7.需要在/opt目录创建 module（存放安装好的软件）software（软件安装包）

        8.module/software 的所属人所属组改成 at

5.1 最小化安装

5.2 安装一些必要软件

查看IP：

        ip addr

        Xshell连接

hadoop100虚拟机配置要求如下：

（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com

（2）安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

（3）注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作

• net-tool：工具包集合，包含ifconfig等命令

[root@hadoop100 ~]# yum install -y net-tools

• vim：编辑器

[root@hadoop100 ~]# yum install -y vim

• 一些其他工具

[root@hadoop100 ~]# yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git

5.3 修改IP为静态IP

1.IP修改IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

        ① BOOTPROTO="static"

        。。。

        ②IPADDR=192.168....

        ③GATEWAY=192.168...

        ④DNS1=192.168...

5.4 修改主机名和hosts映射文件

1. 修改hostname

vim /etc/hostname

改为hadoop100

2. 修改hosts

vim /etc/hosts

        添加：

        192......100  hadoop100

        ...

        192.......106 hadoop106

5.5 关闭防火墙并且关闭开机自启

[root@hadoop100 ~]# systemctl stop firewalld

[root@hadoop100 ~]# systemctl status firewalld(查看)

[root@hadoop100 ~]# systemctl disable firewalld.service（关闭开机自启）

[root@hadoop100 ~]# systemctl is-enabled firewalld.service(查看)

5.6 创建普通用户at  并且配置sudo权限

[root@hadoop100 ~]# useradd at

[root@hadoop100 ~]# passwd at

[root@hadoop100 ~]# vim /etc/sudoers

## Allow root to run any commands anywhere

root    ALL=(ALL)     ALL

at   ALL=(ALL)     NOPASSWD:ALL

5.7 在/opt目录创建 module（存放安装好的软件）software（软件安装包）

[root@hadoop100 ~]# mkdir /opt/module

[root@hadoop100 ~]# mkdir /opt/software

5.8 module/software 的所属人所属组改成 at

[root@hadoop100 ~]# chown at:at /opt/module

[root@hadoop100 ~]# chown at:at /opt/software

（3）查看module、software文件夹的所有者和所属组

[root@hadoop100 ~]# cd /opt/

[root@hadoop100 opt]# ll

总用量 12

drwxr-xr-x. 2 at at 4096 5月  28 17:18 module

drwxr-xr-x. 2 root    root    4096 9月   7 2017 rh

drwxr-xr-x. 2 at at 4096 5月  28 17:18 software

6. 克隆虚拟机

注意：克隆虚拟机后需要修改IP和hostname