hadoop集群搭建之创建模拟机以及本地安装jdk，hadoop

hadoop集群搭建之创建模拟机以及本地安装jdk，hadoop

配置一台纯净版模拟机hadoop101

如果安装一台纯净的CentOS,请看上篇文章，上篇文章详细介绍了安装过程，这里安装的纯净的模拟机主要目的是方便后面搭建集群，所有的机器都是在模拟机上克隆的

需要做的几个步骤

- 固定ip地址，修改主机名
- 用xshell工具连接模板机
- 通过yum安装方式安装必要的软件
- 关闭防火墙
- 修改hosts文件
- 创建普通用户(atguigu)并且提升它能拥有root权限
- 在Linux的/opt目录下创建software和module
- 将software和module目录的所有者和所属组修改为atguigu

记住下之前安装过程中的网络和主机名，等会固定ip地址时有用

修改主机名

vi /etc/hostname   # 修改为hadoop101

固定ip地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 注意，修改的时候要与主机网段保持一致：比如我这里是192.168.12.x

# 修改
BOOTPROTO="static"
# 新增
IPADDR=192.168.12.101
GATEWAY=192.168.12.2
DNS1=192.168.12.2

ip addr # 查看是否修改成功

使用xshell连接

本机做了hosts映射

192.168.12.101 hadoop101

通过yum安装方式安装必要的软件

[root@hadoop101 ~]# yum install -y epel-release
[root@hadoop101 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

关闭防火墙

[root@hadoop101 ~]# systemctl stop firewalld
[root@hadoop101 ~]# systemctl disable firewalld

---

修改hosts文件

vim /etc/hosts

# 添加如下内容
192.168.12.100 hadoop100
192.168.12.101 hadoop101
192.168.12.102 hadoop102
192.168.12.103 hadoop103
192.168.12.104 hadoop104
192.168.12.105 hadoop105
192.168.12.106 hadoop106
192.168.12.107 hadoop107
192.168.12.108 hadoop108

创建普通用户(atguigu)并且提升它能拥有root权限

# 创建
useradd atguigu
passwd atguigu

# 修改
vim /etc/sudoers

在Linux的/opt目录下创建software和module

# software 放软件安装包
# module   软件安装目录

将software和module目录的所有者和所属组修改为atguigu

chown atguigu:atguigu module/ software/

准备hadoop102机器（通过克隆模板机方式创建）

- 修改ip,修改主机名
- 安装jdk
- 安装hadoop

先克隆一台 hadoop102

点击hadoop101,右键----管理—克隆，选择完整克隆

修改ip,修改主机名

使用atguigu,123456登录

在102机器上安装jdk

使用ftp工具将jdk上传上 /opt/software目录下

# 解压jdk
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module

安装完毕

配置jdk的环境变量

在 /etc/profile.d/ 目录下创建my_env.sh脚本

sudo touch my_env.sh,内容如下

#配置JDK的环境变量
# 声明 JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
# 声明PATH变量,在系统原有PATH变量上追加 $JAVA_HOME/bin
PATH=$PATH:$JAVA_HOME/bin

#提升PATH JAVA_HOME为系统全局变量
export JAVA_HOME PATH

在任意位置检测jdk是否安装成功

# 重新加载配置
source /etc/profile
# 检测是否成功
java -version

在102机器上安装hadoop

解压/software目录下的hadoop到/module

tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

解压成功

配置环境变量

sudo vim /etc/profile.d/my_env.sh

#配置JDK的环境变量
#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#配置HADOOP的环境变量
# 声明 HADOOP_HOME变量
HADOOP_HOME=/opt/module/hadoop-3.1.3
# 声明PATH变量,在系统原有PATH变量上追加 $JAVA_HOME/bin $HADOOP_HOME/bin $HADOOP_HOME/sbin
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#提升PATH JAVA_HOME为系统全局变量
export JAVA_HOME HADOOP_HOME PATH

测试hadoop是否安装成功

source /etc/profile
hadoop version

至此，模拟机的创建已经完毕