第一章 Hadoop集群搭建前的准备

系列文章：
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署（2n+1台虚拟机）
第四章 Hadoop高可用集群搭建（HA）
第五章 Hive的安装与配置
待更新
第九章 spark独立模式部署（Standalone）
第十章 spark配置历史服务
第十一章 搭建Spark高可用（HA）
第十二章 spark配置Yarn模式（混合部署模式）
待更新

---

---

前言

本章配置了Linux的网络以及ssh免密登录服务。 Linux环境：CentOS-6.9-x86_64

---

一、Linux网络配置

1.查看五个VMware相关服务是否开启。

任务管理器 --> 服务。
如果没有开启，则右键运行服务。

2.VMware Workstation Pro软件设置。

点击菜单栏的编辑 --> 虚拟网络编辑器 --> NAT模式 --> 更改设置 。

NAT模式 --> 子网：192.168.121.0 --> NAT设置 --> 网关:192.168.121.2 --> DHCP设置。

3.windows下，打开设置中的“网络和Internet”。

以太网 --> 更改适配器选项 --> 右键VMware Network Adapter VMnet8（注意1） --> 属性 --> 勾选lnternet协议版本4(TCP/IPv4) --> 属性
（注意1：VMware Network Adapter VMnet8是NAT模式，如果找不到该选项，则点击VMware Workstation Pro软件菜单栏的“编辑” --> 虚拟网络编辑器 --> NAT模式 --> 更改设置 --> NAT模式 --> 勾选“将主机虚拟适配器连接到此网络”）

配置如下：

4.将虚拟机完整克隆两台。

5.Linux下的配置。

（1）配置主机名。

打开Linux的终端输入：

vim /etc/sysconfig/network

在/etc/sysconfig/network文件中输入：

HOSTNAME=hadoop01	//另外两台虚拟机分别为02、03

（2）配置IP映射，IP的可选范围在第二步中的“起始IP地址”与“结束IP地址”之间。

打开/etc/hosts文件，在文件末尾添加（三台虚拟机都要修改）：

192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03

6.设置网卡设备的Mac地址。

（1）查看虚拟机Mac地址。

右键要查看的虚拟机，选择“设置” --> “网络适配器” --> “高级”，查看Mac地址。

（2）打开虚拟机终端输入ifconfig命令查看Mac地址是否与虚拟机Mac地址一致。

（3）如果两个Mac地址不一致，则修改/etc/udev/rules.d/70-persistent-net.rules文件。

SUBSYSTEM=="net", ACTION=="add",DRIVERS=="?*",ATTR{address}=="0B:Bc:29:47:7f:9a",ATTR{tupe}=="1",KERNEL=="eth",NAME="eth0"

如果文件中有两组上述配置则需删除一组，然后修改“ATTR{address}=“虚拟机对应的MAC地址””和“NAME=“eth0””。

7.配置静态IP地址。

（1）配置/etc/sysconfig/network-scripts/ifcfg-eth0文件，如下：

//修改
ONBOOT=yes 					//启动网卡
BOOTPROTO=static			//dhcp为自动，static为静态
//添加
HWADDR=0B:BC:29:47:7F:9A	//虚拟机Mac地址
IPADDR=192.168.121.134		//IP地址
GATEWAT=192.168.121.2		//网关
NETMASK=255.255.255.0		//子网掩码
DNS1=8.8.8.8				//谷歌提供的免费DNS地址

（2）重启网卡服务。

输入以下命令或者重启虚拟机

service network restart	//或者systemctl restart network

（注意：如果复制过来的两个虚拟机，网卡重启失败，请尝试将/etc/sysconfig/network-scripts/ifcfg-eth0中的“DEVICE=eth0”改为“DEVICE=eth1”，并将/etc/udev/rules.d/70-persistent-net.rules中的“NAME=“eth0””改为“NAME=“eth1””。）

8.检查三台虚拟机之间是否互通。

分别在各个虚拟机下ping其他虚拟机的ip地址，代码如下：

ping 192.168.121.134

9.检查是否能ping通百度，如果ping不通外网，尝试以下命令。

dhclient

二、配置yum仓库

备份yum源

mv /etc/yum.repos.d /etc/yum.repos.d.bak

创建yum源目录

mkdir /etc/yum.repos.d

创建yum源文件

vi /etc/yum.repos.d/CentOS-Base.repo

向文件中添加以下内容

[base]
name=centos-office
failovermethod=priority
baseurl=https://vault.centos.org/6.10/os/x86_64/
gpgcheck=1
gpgkey=https://vault.centos.org/6.10/os/x86_64/RPM-GPG-KEY-CentOS-6

配置完成即可使用。

三、SSH服务配置

目的：实现远程登录和SSH免密登录。

1.查看是否安装SSH服务。

rpm -qa | grep ssh

若没有安装则执行命令：

yum install openssh-server

2.查看是否启动SSH服务。

ps -e | grep ssh

若没有开启ssh服务则执行命令：

service sshd start	//或者systemctl start sshd

3.分别在三台虚拟机上生成公钥与私钥。

命令如下：

ssh-keygen -t rsa	//生成的公私钥默认存储路径为/root/.ssh/

4.将公钥全部拷贝到同一台虚拟机上（这里选择拷贝到hadoop01）。

三台虚拟机均执行：

ssh-copy-id hadoop01

5.将hadoop01的认证（即上一步中存放所有虚拟机公钥的文件/root/.ssh/authorized_keys）分发到其他虚拟机。

在hadoop01上依次执行下列命令：

scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh

---

四、自行安装Xshell等远程连接服务器的软件。