Hadoop单机模式

1模板虚拟机环境准备

1.1安装模板虚拟机，IP地址192.168.10.100 主机名称hadoop100，内存为个人pc机四分之一，磁盘大小为50G

1.2 hadoop100虚拟机配置要求如下（centos-7.5为例,安装环境为桌面系统）

(1)测试虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1
ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2
ttl=128 time=7.72 ms

（2）安装epel-release(提供额外的软件包)

root@hadoop100 ~]# yum install -y epel-release

1.3关闭防火墙、关闭防火墙自启（关闭防火墙对个人电脑安全影响不大）

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

1.4创建student用户，并修改student用户密码

1.配置 student 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

2.修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：

## Allow root to run any commands anywhere
root ALL=(ALL) ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
student ALL=(ALL) NOPASSWD:ALL

1.5在/opt 目录下创建文件夹，并修改所属主和所属组

1.在/opt 目录下创建 module、software 文件夹

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

2.. 修改 module、software 文件夹的所有者和所属组均为student用户

[root@hadoop100 ~]# chown student:student /opt/module
[root@hadoop100 ~]# chown student:student /opt/software

3. 查看 module、software 文件夹的所有者和所属组

[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
总用量 12
drwxr-xr-x. 2 student student 4096 5 月 28 17:18 module
drwxr-xr-x. 2 root root 4096 9 月 7 2017 rh
drwxr-xr-x. 2 student student 4096 5 月 28 17:18 software

1.6卸载虚拟机自带的 JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查询所安装的所有rpm 软件包

grep -i：忽略大小写

xargs -n1：表示每次只传递一个参数

rpm -e –nodeps：强制卸载软件

1.7重启虚拟机

[root@hadoop100 ~]# reboot

1.8对hadoop100虚拟网络进行配置

1.修改hadoop100的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改为

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"

IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2

2. 查看Linux 虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

 

3. 查看Windows 系统适配器VMware Network Adapter VMnet8 的 IP 地址

 4. 保证 Linux 系统 ifcfg-ens33 文件中 IP 地址、虚拟网络编辑器地址和 Windows系统 VM8 网络 IP 地址相同。

1.9重启虚拟机

[root@hadoop100 ~]# reboot

 2.0在 hadoop100 安装JDK、Hadoop

1） 卸载现有 JDK 注意：安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK。

 2）用 XShell 传输工具将 JDK 导入到 opt 目录下面的 software 文件夹下面

3） 在 Linux 系统下的 opt 目录中查看软件包是否导入成功 看到如下结果：

[student@hadoop100 ~]$ ls /opt/software/

jdk-8u212-linux-x64.tar.gz

4）解压 JDK 到/opt/module 目录下

[student@hadoop100 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C
/opt/module/

5）配置 JDK 环境变量 1. 新建/etc/profile.d/my_env.sh 文件 添加如下内容

[student@hadoop100 ~]$ sudo vim /etc/profile.d/my_env.sh

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

2. 保存后退出

:wq

3. source 一下/etc/profile 文件，让新的环境变量 PATH 生效

student@hadoop100 ~]$ source /etc/profile

6）测试 JDK 是否安装成功 如果能看到以下结果，则代表 Java 安装成功。 注意：重启（如果 java -version 可以用就不用重启）

java version "1.8.0_212"

 1）用 XShell 文件传输工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下面

2）进入到 Hadoop 安装包路径下

3）解压安装文件到/opt/module 下面 4）查看是否解压成功

[student@hadoop100 ~]$ cd /opt/software/

5）将 Hadoop 添加到环境变量

1. 获取Hadoop 安装路径

[student@hadoop100 hadoop-3.1.3]$ pwd /opt/module/hadoop-3.1.3

2. 打开/etc/profile.d/my_env.sh 文件 在 my_env.sh 文件末尾添加如下内容：

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

 保存并退出：

:wq

3. 让修改后的文件生效

[student@hadoop100 hadoop-3.1.3]$ source /etc/profile

6测试是否安装成功

[student@hadoop100 hadoop-3.1.3]$ hadoop version Hadoop 3.1.3

7重启（如果 Hadoop 命令不能用再重启虚拟机）

[student@hadoop100 hadoop-3.1.3]$ sudo reboot

2.1安装结束！！！