大数据集群环境准备

一、 初始准备

1. 1 三台虚拟机关闭防火墙

三台机器执行以下命令（root用户来执行）

service iptables stop
chkconfig iptables off

1.2 三台机器关闭selinux

vim /etc/selinux/config

1.3 三台机器更改主机名

三台机器依次更改
vim /etc/sysconfig/network

NETWORKING=YES
HOSTNAME=node01.hadoop.com

说明：centos7采用上面方法不起作用，可以采用如下方法

方法1：临时有效
hostname 主机名 //只能临时修改的主机名，当重启机器后，主机名称又变回来了。

hostname node01.hadoop.com

方法2：永久生效
//永久性的修改主机名称，重启后能保持修改后的。
hostnamectl set-hostname xxx

//删除hostname
hostnamectl set-hostname “”
hostnamectl set-hostname “” --static

1.4 三台机器做主机名与IP地址的映射

vim /etc/hosts

192.168.52.100 node01.hadoop.com  node01
192.168.52.110 node02.hadoop.com  node02
192.168.52.120 node03.hadoop.com  node03

1.5 三台机器重启

reboot -h now

二、3台机器机器免密码登录

第一步：三台机器生成公钥与私钥

在三台机器执行以下命令，生成公钥与私钥
ssh-keygen -t rsa
执行该命令之后，按下三个回车即可

第二步：拷贝公钥到同一台机器
三台机器将拷贝公钥到第一台机器
三台机器执行命令：
ssh-copy-id node01.hadoop.com

第三步：复制第一台机器的认证到其他机器
将第一台机器的公钥拷贝到其他机器上
在第一台机器上面指向以下命令

scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh
scp /root/.ssh/authorized_keys node03.hadoop.com:/root/.ssh

三、3台机器时钟同步

3.1 第一种：通过网络进行时钟同步

通过网络连接外网进行时钟同步,必须保证虚拟机连上外网，使用ntpdate us.pool.ntp.org; 获取阿里云时钟同步服务器ntpdate ntp4.aliyun.com

方法：三台机器定时任务

crontab  -e   
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;

或者直接与阿里云服务器进行时钟同步

crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

3.2 第二种：通过某一台机器进行同步

以192.168.52.100这台服务器的时间为准进行时钟同步
第一步:确定是否安装了ntpd的服务

rpm -qa  | grep  ntpd

# 如果没有安装,可以进行在线安装
yum -y install ntpd

# 启动ntpd的服务
service  ntpd  start
# 设置ntpd的服务开机启动
chkconfig ntpd on

第二步:编辑/etc/ntp.conf

# 编辑第一台机器的/etc/ntp.conf
vim /etc/ntp.conf

# 在文件中添加如下内容
restrict  192.168.52.0  mask  255.255.255.0  nomodify  notrap

# 注释一下四行内容
#server  0.centos.pool.ntp.org
#server  1.centos.pool.ntp.org
#server  2.centos.pool.ntp.org
#server  3.centos.pool.ntp.org

# 去掉以下内容的注释，如果没有这两行注释，那就自己添加上
server   127.127.1.0  #  local  clock
fudge    127.127.1.0  stratum  10
 
# 配置以下内容，保证BIOS与系统时间同步 
vim  /etc/sysconfig/ntpd     
  
# 添加一行内容  
SYNC_HWLOCK=yes  

第三步：另外两台机器与第一台机器时间同步
另外两台机器与192.168.52.100进行时钟同步

crontab  -e
*/1 * * * * /usr/sbin/ntpdate 192.168.52.100

四、3台机器安装jdk

1）查看自带的openjdk

rpm -qa | grep java
# 卸载系统自带的openjdk
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

2)上传jdk并解压然后配置环境变量
说明：为了保持我们的安装环境统一和一致，我们这里创建两个约定俗称的文件夹，来进行我们的软件包的存放和软件的安装。

# 所有软件的安装路径
mkdir -p /export/servers
# 所有软件压缩包的存放路径
mkdir -p /export/softwares

a.上传jdk到/export/softwares路径下去，并解压

tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

b.配置环境变量

vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH

c.修改完成之后记得 source /etc/profile生效