大数据平台基本环境部署

大数据的平台基本部署

Hadoop前置环境搭建

本文章采用的是centos7操作系统，最小化安装，适合对linux有一定基础的学习，

集群规划

用三台linux虚拟机搭建一个最简单的分布式集群，用于学习

master	slave1	slave2
172.16.1.100	172.16.1.101	172.16.1.102
NameNode	SecondaryNameNode
NodeManager	ResourceManager	NodeManager

环境准备

1)Linux网络配置

#vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改网卡配置文件

TYPE=Ethernet
#设置IP获取方式
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eth0
UUID=65e056c4-b368-4f72-ab58-01b8579a2907
DEVICE=eth0
#ONBOOT是指明在系统启动时是否激活网卡
ONBOOT=yes
#设置IP地址
IPADDR=172.16.1.100
#设置子网掩码
NETMASK=255.255.255.0
#设置网管
GATEWAY=172.16.1.1
#设置DNS地址
DNS1=8.8.8.8
~                                                                                                                                                                                                                                                
~                                        

重启网卡

#systemctl restart network
或者
#service network restart

2)Linux防火墙

# vi /etc/sysconfig/selinux

将设置改为禁用：SELINUX=disabled，如图：

# systemctl stop firewalld.service（关闭防火墙）
# systemctl disable firewalld.service（防火墙开机禁用）

3)主机host的映射和主机名的修改

首先是对hosts文件的修改
#vi /etc/hosts

修改hosts文件,添加以下内容

172.16.1.100 master
172.16.1.101 slave1
172.16.1.102 slave2

修改主机名

# vi /etc/hostname

对三台主机分别改为

master

slave1

slave2

同时对每台机器输入

hostname master

hostname slave1

hostname slave2

4)ssh无秘钥登录

在每台机器上，通过如下命令，生成一堆公私钥对

# ssh-keygen -t rsa

一顿回车操作，这条命令执行完毕后，会在/home/z/.ssh/目录下生成两个文件：id_rsa 和 id_rsa.pub，如图所示：


生成之后呢，把master生成的公钥拷贝给master,slave1,slave2这三台机器，对，没错，包含当前机器。

# ssh-copy-id 
# ssh-copy-id slave1
# ssh-copy-id slave2

完成后，其他机器同理。

5)NTP时间服务器

检查时区

对于我们当前这种案例，主要目标是把master这台服务器设置为时间服务器，剩下的slave1，slave2这两台机器同步master的时间，我们需要这样做的原因是因为，整个集群架构中的时间，要保持一致，否则集群很容易出现节点挂掉的情况
检查当前系统时区，使用命令：

 # date -R

注意这里，如果显示的时区不是+0800，你可以删除localtime文件夹后，再关联一个正确时区的链接过去，命令如下：

# rm -rf /etc/localtime

# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

同步时间

#ntpdate 120.24.81.91

修改NTP配置文件

# vi /etc/ntp.conf

去掉下面这行前面的# ,并把网段修改成自己的网段：

restrict 192.168.122.0 mask 255.255.255.0 nomodify notrap

注释掉以下几行：

#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org

把下面两行前面的#号去掉,如果没有这两行内容,需要手动添加

server  127.127.1.0    # local clock
fudge  127.127.1.0 stratum 10

最后，如图所示：

重启ntp服务

# systemctl start ntpd.service，注意，如果是centOS7以下的版本，使用命令：service ntpd start
# systemctl enable ntpd.service，注意，如果是centOS7以下的版本，使用命令：chkconfig ntpd on

集群其他节点去同步这台时间服务器时间

首先需要关闭这两台计算机的ntp服务

# systemctl stop ntpd.service，centOS7以下，则：service ntpd stop

# systemctl disable ntpd.service，centOS7以下，则：chkconfig ntpd off

# systemctl status ntpd，查看ntp服务状态
# pgrep ntpd，查看ntp服务进程id

同步第一台服务器master的时间：

# ntpdate master

制定计划任务,周期性同步时间

# crontab -e
输入
*/10 * * * * /usr/sbin/ntpdate z01

重启定时任务

# systemctl restart crond.service，centOS7以下使用：service crond restart，其他台机器的配置同理