Hadoop学习笔记（二）环境配置与服务器克隆

VMware与Centos7的安装

这部分很简单，只需要按照常规步骤一步一步安装即可。最后出现如下画面便完成了。

如果出现了一打开 “开启虚拟机” 就蓝屏的情况。可以试试将VMware更新到16+的版本以上。

对虚拟机进行一系列的设置

设置VMware的IP地址

接下来点击 “NAT设置”。

设置Windows的IP地址

设置Centos的IP地址

使用命令。

# 最后的32数字可能会根据不同服务器不一样。
vim /etc/sysconfig/network-scripts/ifcfg-ens32

配置如下

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"

# BOOTPROTO="dhcp"
BOOTPROTO="static"

DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens32"
UUID="073096f1-eb07-418e-bc2a-2f29a12ce6e2"
DEVICE="ens32"
ONBOOT="yes"
# 这部分设置与Windows和VMware设置一致
# IP地址
IPADDR=192.168.10.100
# 网关
GATEWAY=192.168.10.2
# dns
DNS1=192.168.10.2

设置hostname

通过命令，编辑其中的内容即可（重启后生效）。

vim /etc/hostname

设置服务器IP地址映射

vim /etc/hosts

添加下面内容：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

上述全部配置完成之后，重启服务器

reboot

重启之后，测试一下是否生效。

ifconfig
hostname
ping www.baidu.com

设置Windows的IP地址映射

打开：C:\Windows\System32\drivers\etc\hosts
添加下列内容：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

远程链接

安装与卸载软件

为准备一个模板服务器，还需要安装和删除一些必要的软件包。

# Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，
# 适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库，大多数 rpm 包在官方
# repository 中是找不到的）
yum install -y epel-release

# 关闭防火墙与开机自启
systemctl stop firewalld
systemctl disable firewalld.service

卸载自带JDK。

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

• rpm -qa ：查询所安装的所有 rpm 软件包
• grep -i java ： 忽略大小写
• xargs -n1：表示每次只传递一个参数
• rpm -e --nodeps 强制卸载软件

克隆服务器

首先保证服务器为关机状态。

选择完整克隆。

将克隆的虚拟机名称分别设置为 hadoop102、hadoop103、hadoop104。克隆完成之后开始修改每个虚拟主机IP地址与 hostname。

hadoop102 192.168.10.102
hadoop103 192.168.10.103
hadoop104 192.168.10.104

设置 IP 与 hostname

# 最后的32数字可能会更具不同服务器不一样。
vim /etc/sysconfig/network-scripts/ifcfg-ens32
vim /etc/hostname

安装 Java 与 Hadoop

• 在 102 机器上，安装Java环境。

1. 上传java安装包。
2. 通过 tar -zxvf xxxx.tar.gz 解压
3. 在 /etc/profile.d/ 下创建 my.sh 用于配置环境变量。内容如下。保存后 source /etc/profile使得配置生效。

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

• 在102机器上，安装Hadoop

1. 上传安装包
2. 解压
3. 在 /etc/profile.d/my.sh 中添加环境变量。内容如下。保存后 source /etc/profile使得配置生效。

# JAVA_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin