Hadoop集群搭建---step1(虚拟机环境准备)

---

typora-root-url: G:\知识总结\归纳整理

Hadoop集群搭建—step1(虚拟机环境准备)

#使用iso(centos 6.9)镜像文件进行安装

三台机器规划

	IP地址	主机名
第一台机器	192.168.52.100	node01.hadoop.com
第一台机器	192.168.52.110	node02.hadoop.com
第一台机器	192.168.52.120	node03.hadoop.com

通过直接复制安装后的安装文件，然后更改mac地址与ip地址也可以实现多台虚拟机的快速创建

1.修改基本配置

1.1 在VmWare上加载我们的linux操作系统

在虚拟机当中更改我们的名称为CDH1,CDH2,CDH3，并为三台虚拟机更改mac地址

1.2 开启linux系统更改设置

#确认好VmWare生成的网关地址，另外确认VmNet8网卡已经配置好了IP地址。

更改mac地址：

vim /etc/udev/rules.d/70-persistent-net.rules

更改ip地址：

vim /etc/sysconfig/network-scripts/ifcfg-eth0

#第二台第三台机器重复上述步骤，并设置IP网址为192.168.52.110，192.168.52.120

1.3 重启linux系统

1.4 关闭防火墙

原因：集群内部的机器间多个软件需要通过端口相互通讯，如果没关闭防火墙，有些软件可能工作不了。

三台机器执行以下命令（root用户来执行）：

service iptables stop

chkconfig iptables off

1.5 三台机器关闭selinux

原因：安全增强型 Linux简称 SELinux，它是 Linux 的一个安全子系统，SELinux 的结构及配置非常复杂，要学精难度较大。很多 Linux 系统管理员嫌麻烦都把 SELinux 关闭了。

vim /etc/selinux/config

1.6 三台机器更改主机名

vim /etc/sysconfig/network

1.7 三台机器做主机名与IP地址的映射

vim /etc/hosts

1.8 三台机器重启

reboot  -h  now

2.三台机器机器免密码登录

原因：在搭建大数据集群时，可能需要将一个文件分发给其他的机器，这里我们用ssh的客户端命令来实现，每次分发文件都需要输入被分发文件的登录密码，为了简化这一操作，我们对其配置免密登录。

2.1 三台机器生成公钥与私钥

在三台机器执行以下命令，生成公钥与私钥：

ssh-keygen -t rsa

2.2 拷贝公钥到同一台机器

三台机器执行命令：

ssh-copy-id node01.hadoop.com

2.3 复制第一台机器的认证到其他机器

在第一台机器上面执行以下命令：

scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh
scp /root/.ssh/authorized_keys node03.hadoop.com:/root/.ssh

3.三台机器时钟同步

原因：多个机器共同提供一个服务，假设上传一个文件到集群上，A机器记录的时间是18:00，而B机器记录的时间是18:05，此时对于集群来说，文件的创建时间就存在歧义，因此，集群内部的每个机器的时间都应该同步。

方式一：通过网络进行时钟同步

1.通过网络连接外网进行时钟同步,必须保证虚拟机连上外网（手动）

ntpdate us.pool.ntp.org;

2.阿里云时钟同步服务器（手动）

ntpdate ntp4.aliyun.com

3.三台机器定时任务（修改配置文件）

crontab  -e

添加一下内容：

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

方式二：通过某一台机器进行同步

以192.168.52.100这台服务器的时间为准进行时钟同步

1.确定是否安装了ntpd的服务

rpm -qa  | grep  ntpd

A.如果没有安装,可以进行在线安装

yum -y install ntpd

B.启动ntpd的服务

service  ntpd  start

C.设置ntpd的服务开机启动

chkconfig ntpd on

2.编辑/etc/ntp.conf

vim /etc/ntp.conf

A.添加一下内容：

​ restrict 192.168.52.0 mask 255.255.255.0 nomodify notrap

B.注释一下四行内容：

​ #server 0.centos.pool.ntp.org

​ #server 1.centos.pool.ntp.org

​ #server 2.centos.pool.ntp.org

​ #server 3.centos.pool.ntp.org

C.去掉以下内容的注释，如果没有这两行注释，那就自己添加上：

​ server 127.127.1.0 # local clock

​ fudge 127.127.1.0 stratum 10

D.配置以下内容，保证BIOS与系统时间同步：

vim  /etc/sysconfig/ntpd

E.添加一行内容 ：

​ SYNC_HWLOCK=yes

3.另外两台机器与第一台机器时间同步

A.另外两台机器与192.168.52.100进行时钟同步

crontab  -e

B.添加一下内容：

​ */1 * * * * /usr/sbin/ntpdate 192.168.52.100

4.三台机器安装jdk

原因：Hadoop的底层实现就是Java , 所以首先必须安装Linux版的Java环境。

4.1 查看自带的openjdk

rpm -qa | grep java	

4.2 卸载系统自带的openjdk

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

4.3 上传jdk并解压然后配置环境变量

说明：为了保持我们的安装环境统一和一致，我们这里创建两个约定俗成的文件夹，来进行我们的软件包的存放和软件的安装

A.所有软件的安装路径:

mkdir -p /export/servers

B.所有软件压缩包的存放路径:

mkdir -p /export/softwares

C.上传jdk到/export/softwares路径下去，并解压：(jdk版本为1.8.0_141)

tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

D.配置环境变量:

vim /etc/profile

​ export JAVA_HOME=/export/servers/jdk1.8.0_141

​ export PATH=:$JAVA_HOME/bin:$PATH

E.修改完成之后记得 source /etc/profile生效