最新Hadoop 安装(1)，美团大数据开发研发岗二面

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.10.140 hadoop01 #添加
192.168.10.141 hadoop02 #添加
192.168.10.142 hadoop03 #添加

#### 6、查看网络连接状态：（三台虚拟机）

[root@hadoop02 ~]# ping www.baidu.com
ping: www.baidu.com: 未知的名称或服务

* 出现问题：


出现以上问题：ping: www.baidu.com: 未知的名称或服务


* 原因：


网络原因，我这里是DNS服务器出错


* 解决办法：


判断：是否使用NAT模式，宿主机v8网卡是否正常，虚拟机是否是静态ip且网段是否与虚拟网卡一致，查看DNS解析是否正常等 。


* 解决：

[root@hadoop02 ~]# ping www.baidu.com
ping: www.baidu.com: 未知的名称或服务
[root@hadoop02 ~]# vi /etc/resolv.conf

Generated by NetworkManager

search localdomain
nameserver 8.8.8.8 #添加DNS服务器ip地址

/etc/resolv.conf是DNS客户机配置文件，用于设置DNS服务器的IP地址及DNS域名，还包含了主机的域名搜索顺序。


该文件是由域名解析 器（resolver，一个根据主机名解析IP地址的库）使用的配置文件。它的格式很简单，每行以一个关键字开头，后接一个或多个由空格隔开的参数。

nameserver //定义DNS服务器的IP地址
domain //定义本地域名
search //定义域名的搜索列表
sortlist //对返回的域名进行排序

实例：

domain 51osos.com
search www.51osos.com 51osos.com
nameserver 202.102.192.68
nameserver 202.102.192.69

#### 7、使用远程工具连接，我用的是windterm


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a2ef5e16cd314519b4663bf31bf364ca.png#pic_center)


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4ba62555c90f4e4a9c52deb4b2135cf2.png#pic_center)


#### 8、安装相关软件包


* 安装epel-release仓库，net-tool工具包集合以及 vim编辑器


注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

#epel-release
[root@hadoop01 ~]# yum install -y epel-release
已加载插件：fastestmirror
。。。。。。

已安装:
epel-release.noarch 0:7-11

完毕！
#net-tools
[root@hadoop01 ~]# yum install -y net-tools
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
epel/x86_64/metalink | 8.2 kB 00:00:00
。。。。。。
软件包 net-tools-2.0-0.25.20131004git.el7.x86_64 已安装并且是最新版本
无须任何处理
#vim
[root@hadoop01 ~]# yum install -y vim
已加载插件：fastestmirror
。。。。。。。。
已安装:
vim-enhanced.x86_64 2:7.4.629-8.el7_9

作为依赖被安装:
gpm-libs.x86_64 0:1.20.7-6.el7 perl.x86_64 4:5.16.3-299.el7_9 perl-Carp.noarch 0:1.26-244.el7
perl-Encode.x86_64 0:2.51-7.el7 perl-Exporter.noarch 0:5.68-3.el7 perl-File-Path.noarch 0:2.09-2.el7
perl-File-Temp.noarch 0:0.23.01-3.el7 perl-Filter.x86_64 0:1.49-3.el7 perl-Getopt-Long.noarch 0:2.40-3.el7
perl-HTTP-Tiny.noarch 0:0.033-3.el7 perl-PathTools.x86_64 0:3.40-5.el7 perl-Pod-Escapes.noarch 1:1.04-299.el7_9
perl-Pod-Perldoc.noarch 0:3.20-4.el7 perl-Pod-Simple.noarch 1:3.28-4.el7 perl-Pod-Usage.noarch 0:1.63-3.el7
perl-Scalar-List-Utils.x86_64 0:1.27-248.el7 perl-Socket.x86_64 0:2.010-5.el7 perl-Storable.x86_64 0:2.45-3.el7
perl-Text-ParseWords.noarch 0:3.29-4.el7 perl-Time-HiRes.x86_64 4:1.9725-3.el7 perl-Time-Local.noarch 0:1.2300-2.el7
perl-constant.noarch 0:1.27-2.el7 perl-libs.x86_64 4:5.16.3-299.el7_9 perl-macros.x86_64 4:5.16.3-299.el7_9
perl-parent.noarch 1:0.225-244.el7 perl-podlators.noarch 0:2.5.1-3.el7 perl-threads.x86_64 0:1.87-4.el7
perl-threads-shared.x86_64 0:1.43-6.el7 vim-common.x86_64 2:7.4.629-8.el7_9 vim-filesystem.x86_64 2:7.4.629-8.el7_9

完毕！
[root@hadoop01 ~]#

#### 9、创建wangliukun用户，并修改wangliukun用户密码

[root@hadoop01 ~]# useradd wangliukun
[root@hadoop01 ~]# passwd wangliukun
更改用户 wangliukun 的密码 。
新的 密码： #root
无效的密码： 密码少于 8 个字符
重新输入新的 密码： #root
passwd：所有的身份验证令牌已经成功更新。
[root@hadoop01 ~]#

#### 10、配置wangliukun用户具有root权限


方便后期加sudo执行root权限的命令

[root@hadoop01 ~]# vim /etc/sudoers

Allow root to run any commands anywhere

root ALL=(ALL) ALL

Allows people in group wheel to run all commands

%wheel ALL=(ALL) ALL
wangliukun ALL=(ALL) NOPASSWD:ALL

:wq!

[root@hadoop01 ~]# su wangliukun
[wangliukun@hadoop01 root]$ cd /opt
[wangliukun@hadoop01 opt]$ mkdir module
mkdir: 无法创建目录"module": 权限不够
[wangliukun@hadoop01 opt]$ sudo mkdir module
[wangliukun@hadoop01 opt]$ ll
总用量 0
drwxr-xr-x. 2 root root 6 3月 11 21:17 module
[wangliukun@hadoop01 opt]$ rm -rf module
rm: 无法删除"module": 权限不够
[wangliukun@hadoop01 opt]$ sudo rm -rf module
[wangliukun@hadoop01 opt]$ ll
总用量 0
[wangliukun@hadoop01 opt]$

#### 11、修改/export下文件所属组

[root@hadoop01 /]# cd export/
[root@hadoop01 export]# chown wangliukun:wangliukun /export/data/
[root@hadoop01 export]# chown wangliukun:wangliukun /export/servers/
[root@hadoop01 export]# chown wangliukun:wangliukun /export/software/
[root@hadoop01 export]# ll
总用量 0
drwxr-xr-x. 2 wangliukun wangliukun 6 3月 5 21:42 data
drwxr-xr-x. 3 wangliukun wangliukun 17 3月 5 21:48 servers
drwxr-xr-x. 2 wangliukun wangliukun 67 3月 14 19:26 software

#### 12、克隆虚拟机


关闭当前虚拟机，右键虚拟机点击管理–>克隆，完成两次完整克隆。


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cb2da88a492d4459843c253241b6d920.png#pic_center)


并完成相应配置：




| 主机名 | ip |
| --- | --- |
| Hadoop01 | 192.168.10.140 |
| Hadoop02 | 192.168.10.141 |
| Hadoop03 | 192.168.10.142 |


### 二、安装Hadoop


#### 1、上传Hadoop到/export/software

[root@hadoop01 software]# rz
[root@hadoop01 software]# ls
hadoop-3.3.4.tar.gz jdk-8u144-linux-x64.tar.gz
[root@hadoop01 software]#

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/d4105a2d96ef41258d68e25d2563600f.png#pic_center)


#### 2、解压hadoop-3.3.4.tar.gz到/export/servers/

[root@hadoop01 software]# tar -zxvf hadoop-3.3.4.tar.gz -C /export/servers/
[root@hadoop01 export]# cd servers/
[root@hadoop01 servers]# ls
hadoop-3.3.4 jdk
[root@hadoop01 servers]# ll
总用量 0
drwxr-xr-x. 10 1024 1024 215 7月 29 2022 hadoop-3.3.4
drwxr-xr-x. 8 10 143 255 7月 22 2017 jdk

#### 3、添加环境变量

#查询目录
[wangliukun@hadoop01 hadoop-3.3.4]# pwd
/export/servers/hadoop-3.3.4
[wangliukun@hadoop01 hadoop-3.3.4]$ sudo vim /etc/profile
[wangliukun@hadoop01 hadoop-3.3.4]$ sudo vim /etc/profile
#使文件生效
[wangliukun@hadoop01 hadoop-3.3.4]$ source /etc/profile
[wangliukun@hadoop01 hadoop-3.3.4]$ hadoop
hadoop hadoop.cmd hadoop-daemon.sh hadoop-daemons.sh
#hadoop测试
[wangliukun@hadoop01 hadoop-3.3.4]$ hadoop version
Hadoop 3.3.4
Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
Compiled by stevel on 2022-07-29T12:32Z
Compiled with protoc 3.7.1
From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
This command was run using /export/servers/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar
[wangliukun@hadoop01 hadoop-3.3.4]$

在以上配置中，/etc/profilr中添加如下：

#HADOOP_HOME
export HADOOP_HOME=/export/servers/hadoop-3.1.3#以上中查询的hadoop地址
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#### 4、Hadoop目录结构：


* 查看hadoop目录结构：

[wangliukun@hadoop01 hadoop-3.3.4]$ ll
总用量 92
drwxr-xr-x. 2 1024 1024 203 7月 29 2022 bin
drwxr-xr-x. 3 1024 1024 20 7月 29 2022 etc
drwxr-xr-x. 2 1024 1024 106 7月 29 2022 include
drwxr-xr-x. 3 1024 1024 20 7月 29 2022 lib
drwxr-xr-x. 4 1024 1024 288 7月 29 2022 libexec
-rw-rw-r–. 1 1024 1024 24707 7月 29 2022 LICENSE-binary
drwxr-xr-x. 2 1024 1024 4096 7月 29 2022 licenses-binary
-rw-rw-r–. 1 1024 1024 15217 7月 17 2022 LICENSE.txt
-rw-rw-r–. 1 1024 1024 29473 7月 17 2022 NOTICE-binary
-rw-rw-r–. 1 1024 1024 1541 4月 22 2022 NOTICE.txt
-rw-rw-r–. 1 1024 1024 175 4月 22 2022 README.txt
drwxr-xr-x. 3 1024 1024 4096 7月 29 2022 sbin
drwxr-xr-x. 4 1024 1024 31 7月 29 2022 share
[wangliukun@hadoop01 hadoop-3.3.4]$

* 重要目录

bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

链图片转存中…(img-oOhuUYxW-1715495251989)]
[外链图片转存中…(img-8dBHVpHY-1715495251989)]
[外链图片转存中…(img-lhjo36NU-1715495251989)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取