Hadoop环境搭建

采用Linux系统环境 CentOS-7版本
配置方面: 内存3-4G,硬盘20G-50G,进行小规模的测试,cpu 2核心
网络:真实主机安装虚拟机那么就采用nat网络模式,如果是真实的主机那么保证外网互相能联通或者局域网内能联通

准备环境
虚拟机的本身配置

#1.测试能联网
ping www.baidu.com

#2.安装必要的组件
yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

#3.关闭防火墙 以及禁用防火墙自启
systemctl stop firewalld
systemctl disable firewalld

#4.创建集群间测试的用户 尽量保证集群间的集群用户统一
useradd test(用户名)
passwd test(密码)

#5.配置用户可提升root权限 方便sudo指令的提权操作
vim /etc/sudoers

#修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行
root ALL=(ALL)  ALL
test  ALL=(ALL)   NOPASSWD:ALL

#6.修改克隆虚拟机的静态IP(按照自己机器的网络设置进行修改)
编辑->虚拟网络编辑器->VMnet8 查看自己的物理设置

vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.100.100
PREFIX=24
GATEWAY=192.168.100.2
DNS1=192.168.100.2

退出重启网络服务
 service network restart
#6.在/opt目录下创建文件夹,并修改所属的主和用户,此文件用于集中安装Hadoop等软件,方便集中管理
mkdir /opt/module (安装目录)
mkdir /opt/software (软件包存放目录)
修改module、software文件夹的所有者 
chown test:test /opt/module
chown test:test /opt/software 

#查看所属主所属组是否修改正确
cd /opt
ll
#7.卸载自带的openJDK
rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps



#8.重启虚拟机
reboot

修改虚拟的的主机名
vim /etc/hostname

配置主机名称映射，打开/etc/hosts
vim /etc/hosts

添加如下内容

192.168.100.100 hadoop
192.168.100.101 hadoop101
192.168.100.102 hadoop102
192.168.100.103 hadoop103
192.168.100.104 hadoop104
192.168.100.105 hadoop105

因为需要多配置几台,所以这边一步到位 后续克隆出来的机器这里就不需要调整了

重启虚拟机,同样修改其他克隆机

修改window的主机映射文件（hosts文件）
进入C:\Windows\System32\drivers\etc路径
内容和上述一样保证虚拟机和物理机一一映射

`192.168.100.100 hadoop
192.168.100.101 hadoop101
192.168.100.102 hadoop102
192.168.100.103 hadoop103
192.168.100.104 hadoop104
192.168.100.105 hadoop105`

之后物理机和虚拟机保证可以相互ping通