【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 概述-CSDN博客
【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建-CSDN博客
【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行模式-CSDN博客
1、模板虚拟机环境准备
1.1、 hadoop100 虚拟机配置要求如下
(1)使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情况
[root@hadoop100 ~]# ping www.baidu.com
(2)安装epel-release
[root@hadoop100 ~]# yum install -y epel-release
(3)注意:如果Linux 安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作
net-tool:工具包集合,包含ifconfig 等命令
vim:编辑器
[root@hadoop100 ~]# yum install -y net-tools
[root@hadoop100 ~]# yum install -y vim
1.2、 关闭防火墙,关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
1.3、 创建普通用户,并修改普通用户的密码
[root@hadoop100 ~]# useradd Tom
[root@hadoop100 ~]# passwd Tom
1.4、 配置普通用户具有 root 权限,方便后期加sudo 执行 root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers 文件,在%wheel 这行下面添加一行,如下所示:
注意:Tom这一行不要直接放到 root行下面,因为所有用户都属于 wheel组,你先配置了Tom具有免密功能,但是程序执行到 %wheel行时, 该功能又被覆盖回需要密码 。所以Tom要放到 %wheel这行下面。
2.1.5 在 /opt目录下创建文件夹 ,并修改所属用户和所属组
2.1.6 卸载虚拟机自带的 JDK
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e --nodeps:强制卸载软件
注意:注意:如果你的虚拟机是最小化安装不需要执行这一步。
1.7| 重启虚拟机
[root@hadoop100 ~]# reboot
2.2 克隆虚拟机
2.1、 利用模板机 hadoop100,克隆 三台虚拟机 hadoop102 hadoop103 hadoop104
注意:克隆时,要先关闭 hadoop100
2.2、 修改克隆机 IP,以 hadoop102 举例说明
(1)修改克隆虚拟机的静态 IP:
[Tom@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
(2)查看 Linux虚拟机的虚拟网络编辑器,编辑 ->虚拟网络编辑器 ->VMnet8
(3)查看 Windows系统适配器 VMware Network Adapter VMnet8的 IP地址
(4)保证 Linux系统 ifcfg-ens33文件中 IP地址、虚拟网络编辑器地址和 Windows系统 VMnet8网络 IP地址相同。
2.3、 修改克隆机主机名 ,以 hadoop102举例说明
(1)修改主机名称
[root@hadoop100 ~]# vim /etc/hostname
(2)配置 Linux克隆机主机名称映射 hosts文件 打开 /etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
2.4、 重启克隆机 hadoop102
[root@hadoop100 ~]# reboot
2.5、 修改 windows的主机映射文件(hosts文件)
进入C:\Windows\System32\drivers\etc路径,打开 hosts文件并添加如下内容 ,然后保存。
![4e1f94bba2d64d2eb0707458254b55ea.png](https://i-blog.csdnimg.cn/blog_migrate/36c18c8345d0b52166f03631ef8414c8.png)
3、 在 hadoop102 安装 JDK
3.1、卸载现有 JDK
注意:安装 JDK前,一定确保提前删除了虚拟机自带的 JDK。
3.2、用 XShell传输工具将 JDK导入到 opt目录下面的 software文件夹下面
3.3、在 Linux系统下的 opt目录中查看软件包是否导入成功
[Tom@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz
3.4、解压 JDK到 /opt/module目录下
[Tom@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
3.5、配置 JDK环境变量
[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh
source一下 /etc/profile文件 ,让新的环境变量 PATH生效
[Tom@hadoop102 software]$ source /etc/profile
测试JDK是否安装成功
[Tom@hadoop102 software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[Tom@hadoop102 software]$
4、 在 hadoop102 安装 Hadoop
4.1、用 XShell文件传输 工具将 hadoop-3.1.3.tar.gz导入到 opt目录下面的 software文件夹下面
4.2、解压安装文件到 /opt/module下面
[Tom@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
4.3、查看是否解压成功
[Tom@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3 jdk1.8.0_212
4.4、将 Hadoop添加到环境变量
[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh
让修改后的文件生效
[Tom@hadoop102 software]$ source /etc/profile
4.5、测试是否安装成功
[Tom@hadoop102 software]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[Tom@hadoop102 software]$
4.6、重启 如果 Hadoop命令不能用再重启虚拟机
[Tom@hadoop102 hadoop-3.1.3]$ sudo reboot
5、 Hadoop 目录结构
查看 Hadoop目录结构
[Tom@hadoop102 hadoop-3.1.3]$ ll
总用量 184
-rw-rw-r--. 1 Tom Tom 25 5月 28 16:49 a.txt
drwxr-xr-x. 2 Tom Tom 183 9月 12 2019 bin
drwxrwxr-x. 4 Tom Tom 37 5月 29 10:54 data
drwxr-xr-x. 3 Tom Tom 20 9月 12 2019 etc
drwxrwxr-x. 3 Tom Tom 18 5月 29 10:53 hdfsdata
drwxr-xr-x. 2 Tom Tom 106 9月 12 2019 include
drwxr-xr-x. 3 Tom Tom 20 9月 12 2019 lib
drwxr-xr-x. 4 Tom Tom 288 9月 12 2019 libexec
-rw-rw-r--. 1 Tom Tom 147145 9月 4 2019 LICENSE.txt
drwxrwxr-x. 3 Tom Tom 4096 5月 29 15:36 logs
-rw-rw-r--. 1 Tom Tom 21867 9月 4 2019 NOTICE.txt
-rw-rw-r--. 1 Tom Tom 1366 9月 4 2019 README.txt
drwxr-xr-x. 3 Tom Tom 4096 9月 12 2019 sbin
drwxr-xr-x. 4 Tom Tom 31 9月 12 2019 share
drwxrwxr-x. 2 Tom Tom 22 5月 6 22:23 wcinput
[Tom@hadoop102 hadoop-3.1.3]$
重要目录
(1) bin目录:存放对 Hadoop相关服务( hdfs yarn mapred)进行操作的脚本
(2) etc目录: Hadoop的配置文件目录,存放 Hadoop的配置文件
(3) lib目录:存放 Hadoop的本地库(对数据进行压缩解压缩功能)
(4) sbin目录:存放启动或停止 Hadoop相关服务的脚本
(5) share目录:存放 Hadoop的依赖 jar包 、文档和官方案例