Hadoop的搭建与使用

1、需求分析（或者应用场景）

随着数据量的“暴增”趋势，本地处理方式已经难以满足需求，现急需一套方案来解决这个问题，故推荐使用大数据分析平台——Hadoop。
大数据的特点：容量大、种类多、速度快、价值高

1. 数据量低，处理难度大，但是蕴含的价值也大；
2. 数据种类多样，更加个性化，针对不同数据源进行多样化的方式处理，结果更加精确；
3. 要求对数据进行及时处理，追求更极致、更完善的用户体验；
4. 数据的成为新的资源，掌握数据就等于掌握了巨大的财富；
   针对以上现状，提出采用Hadoop的部署方式：
   Hadoop是Apache的一套开源软件平台，可根据自己的需求进行二次开发，可利用性强，投入成本低，并且Hadoop提供了很多的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。

2、环境说明

序号 主机名 IP地址 备注
1 master-yly 192.168.91.134 主节点
2 slave01-yly 192.168.91.135 从节点
3 slave02-yly 192.168.91.136 从节点
操作系统 CentOS 7

3、项目运行效果

4、项目完成步骤

4.1 修改主机名

master-yly：
[root@localhost ~]# hostnamectl set-hostname master-yly
[root@localhost ~]# bash
slave01-yly：
[root@localhost ~]# hostnamectl set-hostname slave01-yly
[root@localhost ~]# bash
slave02-yly：
[root@localhost ~]# hostnamectl set-hostname slave02-yly
[root@localhost ~]# bash

4.2修改/etc/hosts文件，配置主机域名映射

master-yly:
[root@master-yly ~]# vim /etc/hosts
192.168.91.134 master-yly
192.168.91.135 slave01-yly
192.168.91.136 slave02-yly
slave01-yly:
[root@slave01-yly ~]# vim /etc/hosts
192.168.91.134 master-yly
192.168.91.135 slave01-yly
192.168.91.136 slave02-yly
slave02-yly:
[root@slave02-yly ~]# vim /etc/hosts
192.168.91.134 master-yly
192.168.91.135 slave01-yly
192.168.91.136 slave02-yly

4.3 关闭防火墙（三台同时关闭)

[root@master-yly ~]# systemctl stop firewalld
[root@slave01-yly ~]# systemctl stop firewalld
[root@slave02-yly ~]# systemctl stop firewalld

4.4 安装并配置NTP服务，用于时间同步

master-yly：
[root@master-yly ~]# yum install -y ntp

#修改配置文件，在末尾添加如下两条配置：
[root@master-yly ~]# vim /etc/ntp.conf
server 127.12