Hadoop——第一部份 Hadoop入门——二、Hadoop环境准备

二、Hadoop环境准备

Hadoop运行环境搭建思路：

• 建立虚拟机并进行基本配置
• 克隆虚拟机
• 安装JDK、Hadoop
• 同步程序到副本

#关于虚拟机和Linux的使用本文不再详述基本操作，仅说明一些配置和技巧。

2.1 虚拟机

使用VMware虚拟机准备Linux CentOS操作系统模拟生产环境。
考虑把本机资源分配给4台虚拟机，每台虚拟机配置如下：

• CPU 1-4核
• 内存 1-8G
• 硬盘 50-100G
• 网络 NAT

2.2 操作系统 Linux CentOS 8

1. 使用最小化安装COS8

• 安装时创建管理员用户CentOS8
• 也可以通过命令创建用户后添加权限

adduser centos7 -c CentOS7
passwd centos7

在设置root权限(sudo免密)时，要把免密设置放在%wheel用户组下面，因为所有用户都属于wheel用户组，按照顺序执行时，前面设的免密又被wheel组设置覆盖了。

2. 配置静态IP地址

• 在终端配置网卡

sudo vi /etc/sysconfig/network-scriptes/ifcfg-ens33

修改以下内容

BOOTPROTO="static"
IPADDR=192.168.247.100
GATEWAY=192.168.247.2
DNS1=192.168.247.2

#如果网关设成1，则本机虚拟网卡VMnet8的IP设为2

3. 主机名

sudo hostnamectl set-hostname hadoop100
hostname

4. IP地址映射hosts

sudo vi /etc/hosts

添加

   192.168.247.100 hadoop100
   192.168.247.101 hadoop101
   192.168.247.102 hadoop102
   192.168.247.103 hadoop103
   192.168.247.104 hadoop104
   192.168.247.105 hadoop105
   192.168.247.106 hadoop106
   192.168.247.107 hadoop107
   192.168.247.108 hadoop108

添加hosts映射后本地可用映射名替代IP

5. Linux最小化安装系统必备软件安装

• 安装net-tools
• 安装epel-release库

sudo yum install net-tools
sudo yum install epel-release
sudo yum install rsync

6. 关闭所有节点的防火墙，连接外网处统一设防火墙。

sudo systemctl stop firewalld --now

2.3 配置远程访问工具XShell

1. 在主机Windows系统的hosts文件中添加IP地址映射
   C:\Windows\System32\drivers\etc\hosts
   (如因权限问题不能修改，可拷到其它盘改后再拷回覆盖)

   192.168.247.100 hadoop100
   192.168.247.101 hadoop101
   192.168.247.102 hadoop102
   192.168.247.103 hadoop103
   192.168.247.104 hadoop104
   192.168.247.105 hadoop105
   192.168.247.106 hadoop106
   192.168.247.107 hadoop107
   192.168.247.108 hadoop108
   

2. 在XShell中建立连接
   在所有会话中新建文件夹——Hadoop
   新建会话——hadoop100
   用户验证——用户名centos8密码admin
   外观——配色方案——ANSI Colors on White
   连接