1、需求分析(或者应用场景)
随着数据量的“暴增”趋势,本地处理方式已经难以满足需求,现急需一套方案来解决这个问题,故推荐使用大数据分析平台——Hadoop。
大数据的特点:容量大、种类多、速度快、价值高
- 数据量低,处理难度大,但是蕴含的价值也大;
- 数据种类多样,更加个性化,针对不同数据源进行多样化的方式处理,结果更加精确;
- 要求对数据进行及时处理,追求更极致、更完善的用户体验;
- 数据的成为新的资源,掌握数据就等于掌握了巨大的财富;
针对以上现状,提出采用Hadoop的部署方式:
Hadoop是Apache的一套开源软件平台,可根据自己的需求进行二次开发,可利用性强,投入成本低,并且Hadoop提供了很多的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理。
2、环境说明
序号 主机名 IP地址 备注
1 master-yly 192.168.91.134 主节点
2 slave01-yly 192.168.91.135 从节点
3 slave02-yly 192.168.91.136 从节点
操作系统 CentOS 7
3、项目运行效果
4、项目完成步骤
4.1 修改主机名
master-yly:
[root@localhost ~]# hostnamectl set-hostname master-yly
[root@localhost ~]# bash
slave01-yly:
[root@localhost ~]# hostnamectl set-hostname slave01-yly
[root@localhost ~]# bash
slave02-yly:
[root@localhost ~]# hostnamectl set-hostname slave02-yly
[root@localhost ~]# bash
4.2修改/etc/hosts文件,配置主机域名映射
master-yly:
[root@master-yly ~]# vim /etc/hosts
192.168.91.134 master-yly
192.168.91.135 slave01-yly
192.168.91.136 slave02-yly
slave01-yly:
[root@slave01-yly ~]# vim /etc/hosts
192.168.91.134 master-yly
192.168.91.135 slave01-yly
192.168.91.136 slave02-yly
slave02-yly:
[root@slave02-yly ~]# vim /etc/hosts
192.168.91.134 master-yly
192.168.91.135 slave01-yly
192.168.91.136 slave02-yly
4.3 关闭防火墙(三台同时关闭)
[root@master-yly ~]# systemctl stop firewalld
[root@slave01-yly ~]# systemctl stop firewalld
[root@slave02-yly ~]# systemctl stop firewalld
4.4 安装并配置NTP服务,用于时间同步
master-yly:
[root@master-yly ~]# yum install -y ntp
#修改配置文件,在末尾添加如下两条配置:
[root@master-yly ~]# vim /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 startum 10
#启动服务并添加到开机自