Hadoop样板机搭建操作流程

#工作流程#

通过几天的整理，将所需的操作指令，操作流程记录下来。今后工作中，有需要就可以打开查看，非常方便！

Hadoop环境搭建样板机教程

一、windows部分

1.host修改（主机名称与IP建立解析）。

以管理员身份打开“记事本”，选择：C:\Windows\System32\drivers\etc\host文件。

添加如下内容：具体网络IP以个人机器为主。等虚拟机安装时，打开网络就可以看到。

2.xshell与xftp安装（方便后续操作）。

二、Linux虚拟机创设。

1.选择随后安装系统；在安装前选择镜像文件位置。

先选择镜像文件位置，然后再开始安装！！！！

在安装位置这里选择自定义：我要配置分区

依次完成如下操作：

2.记录网络端口信息，方便IP地址设置。

下面就是重点的重点：打开网络和主机名。记录你自己机器的ip信息，为后面IP设置服务。主要是Hadoop主机静态IP和hosts设置。

在安装期间，设置root密码

3.修改IP地址与主机名称。

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改BOOTPOTO=static，添加

IPADDR= 192.168.72.105

GATEWAY=192.168.72.2

DNS1=192.168.72.2

修改主机名称

hostnamectl --static set-hostname hadoop105

执行：reboot

下面的操作就都可以在xshell中进行，用ctrl+c于ctrl+v完成。

三、Hadoop单机构建。

都在xshell于xftp下进行，准备好相关命令，ctrl+c与ctr+v进行。

安装所需资源

yum install -y epel-release

yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

yum install xorg-x11-xauth

关闭防火墙和防火墙开机启动

systemctl stop firewalld

systemctl disable firewalld

创建用户设置密码

useradd zj

passwd zj

设置新用户权限

vim /etc/sudoers

在root权限下添加如下内容

root    ALL=(ALL)     ALL

zj   ALL=(ALL)     NOPASSWD:ALL

在/opt/创设文件夹

mkdir /opt/module

mkdir /opt/software

修改module、software文件夹的所有者和所属组均为zj用户

chown zj:zj /opt/module

chown zj:zj /opt/software

配置主机名称映射hosts文件，打开/etc/hosts

 vim /etc/hosts

添加

192.168.72.100 hadoop100

192.168.72.101 hadoop101

192.168.72.102 hadoop102

192.168.72.103 hadoop103

192.168.72.104 hadoop104

192.168.72.105 hadoop105

192.168.72.106 hadoop106

192.168.72.107 hadoop107

192.168.72.108 hadoop108

192.168.72.109 hadoop109

192.168.72.110 hadoop110

192.168.72.111 hadoop111

重新启动，准备安装Hadoop系统

2.将所需的软件用xftp传到/opt/software/

安装JDK

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置环境变量

sudo vim /etc/profile.d/my_env.sh

添加

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

让环境变量生效

source /etc/profile

安装Hadoop

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置环境变量

sudo vim /etc/profile.d/my_env.sh

添加

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

让环境变量生效

source /etc/profile

最后写一个文件分发脚本就ok

在/home/zj/bin目录下创建my_xsync.sh文件

 cd /home/zj

 mkdir bin

 cd bin

 vim my_xsync.sh

内容如下：

#!/bin/bash

#1. 判断参数个数

if [ $# -lt 1 ]

then

  echo Not Enough Arguement!

  exit;

fi

#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104 hadoop105 hadoop106 hadoop107 hadoop108 hadoop109 hadoop110

do

  echo ====================  $host  ====================

  #3. 遍历所有目录，挨个发送

  for file in $@

  do

    #4. 判断文件是否存在

    if [ -e $file ]

    then

      #5. 获取父目录

      pdir=$(cd -P $(dirname $file); pwd)

      #6. 获取当前文件的名称

      fname=$(basename $file)

      ssh $host "mkdir -p $pdir"

      rsync -av $pdir/$fname $host:$pdir

    else

      echo $file does not exists!

    fi

  done

done

让脚本具有执行权限

chmod +x my_xsync.sh

这样Hadoop的样板机就OK了。我们就可以通过克隆完成集群环境搭建所需的主机了。

当然了，Hadoop自己的文件分发命令，也要掌握。

scp

xsync