2024年最新Hadoop 安装，0基础大数据开发开发

最新推荐文章于 2024-06-15 06:34:43 发布

2401_84586689

最新推荐文章于 2024-06-15 06:34:43 发布

阅读量976

点赞数 9

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84586689/article/details/138836671

版权

程序员专栏收录该内容

55 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

[root@hadoop02 ~]# ping www.baidu.com
ping: www.baidu.com: 未知的名称或服务

出现问题：

出现以上问题：ping: www.baidu.com: 未知的名称或服务

原因：

网络原因，我这里是DNS服务器出错

解决办法：

判断：是否使用NAT模式，宿主机v8网卡是否正常，虚拟机是否是静态ip且网段是否与虚拟网卡一致，查看DNS解析是否正常等。

解决：

[root@hadoop02 ~]# ping www.baidu.com
ping: www.baidu.com: 未知的名称或服务
[root@hadoop02 ~]# vi /etc/resolv.conf
# Generated by NetworkManager
search localdomain  
nameserver 8.8.8.8    #添加DNS服务器ip地址

/etc/resolv.conf是DNS客户机配置文件，用于设置DNS服务器的IP地址及DNS域名，还包含了主机的域名搜索顺序。

该文件是由域名解析器（resolver，一个根据主机名解析IP地址的库）使用的配置文件。它的格式很简单，每行以一个关键字开头，后接一个或多个由空格隔开的参数。

nameserver    //定义DNS服务器的IP地址
domain       //定义本地域名
search        //定义域名的搜索列表
sortlist        //对返回的域名进行排序

实例：

domain  51osos.com
search  www.51osos.com  51osos.com
nameserver 202.102.192.68
nameserver 202.102.192.69

7、使用远程工具连接，我用的是windterm

在这里插入图片描述

8、安装相关软件包

安装epel-release仓库，net-tool工具包集合以及 vim编辑器

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

#epel-release
[root@hadoop01 ~]# yum install -y epel-release
已加载插件：fastestmirror
。。。。。。

已安装:
  epel-release.noarch 0:7-11                                

完毕！
#net-tools
[root@hadoop01 ~]# yum install -y net-tools 
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
epel/x86_64/metalink                                                                                   | 8.2 kB  00:00:00     
 。。。。。。
软件包 net-tools-2.0-0.25.20131004git.el7.x86_64 已安装并且是最新版本
无须任何处理
#vim
[root@hadoop01 ~]# yum install -y vim
已加载插件：fastestmirror
。。。。。。。。
已安装:
  vim-enhanced.x86_64 2:7.4.629-8.el7_9                       

作为依赖被安装:
  gpm-libs.x86_64 0:1.20.7-6.el7               perl.x86_64 4:5.16.3-299.el7_9        perl-Carp.noarch 0:1.26-244.el7         
  perl-Encode.x86_64 0:2.51-7.el7              perl-Exporter.noarch 0:5.68-3.el7     perl-File-Path.noarch 0:2.09-2.el7      
  perl-File-Temp.noarch 0:0.23.01-3.el7        perl-Filter.x86_64 0:1.49-3.el7       perl-Getopt-Long.noarch 0:2.40-3.el7    
  perl-HTTP-Tiny.noarch 0:0.033-3.el7          perl-PathTools.x86_64 0:3.40-5.el7    perl-Pod-Escapes.noarch 1:1.04-299.el7_9
  perl-Pod-Perldoc.noarch 0:3.20-4.el7         perl-Pod-Simple.noarch 1:3.28-4.el7   perl-Pod-Usage.noarch 0:1.63-3.el7      
  perl-Scalar-List-Utils.x86_64 0:1.27-248.el7 perl-Socket.x86_64 0:2.010-5.el7      perl-Storable.x86_64 0:2.45-3.el7       
  perl-Text-ParseWords.noarch 0:3.29-4.el7     perl-Time-HiRes.x86_64 4:1.9725-3.el7 perl-Time-Local.noarch 0:1.2300-2.el7   
  perl-constant.noarch 0:1.27-2.el7            perl-libs.x86_64 4:5.16.3-299.el7_9   perl-macros.x86_64 4:5.16.3-299.el7_9   
  perl-parent.noarch 1:0.225-244.el7           perl-podlators.noarch 0:2.5.1-3.el7   perl-threads.x86_64 0:1.87-4.el7        
  perl-threads-shared.x86_64 0:1.43-6.el7      vim-common.x86_64 2:7.4.629-8.el7_9   vim-filesystem.x86_64 2:7.4.629-8.el7_9 

完毕！
[root@hadoop01 ~]#

9、创建wangliukun用户，并修改wangliukun用户密码

[root@hadoop01 ~]# useradd wangliukun
[root@hadoop01 ~]# passwd wangliukun
更改用户 wangliukun 的密码 。
新的 密码：    #root
无效的密码： 密码少于 8 个字符
重新输入新的 密码：  #root
passwd：所有的身份验证令牌已经成功更新。
[root@hadoop01 ~]#

10、配置wangliukun用户具有root权限

方便后期加sudo执行root权限的命令

[root@hadoop01 ~]# vim /etc/sudoers

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
wangliukun   ALL=(ALL)     NOPASSWD:ALL

:wq!

[root@hadoop01 ~]# su wangliukun
[wangliukun@hadoop01 root]$ cd /opt
[wangliukun@hadoop01 opt]$ mkdir module
mkdir: 无法创建目录"module": 权限不够
[wangliukun@hadoop01 opt]$ sudo mkdir module
[wangliukun@hadoop01 opt]$ ll
总用量 0
drwxr-xr-x. 2 root root 6 3月  11 21:17 module
[wangliukun@hadoop01 opt]$ rm -rf module
rm: 无法删除"module": 权限不够
[wangliukun@hadoop01 opt]$ sudo rm -rf module
[wangliukun@hadoop01 opt]$ ll
总用量 0
[wangliukun@hadoop01 opt]$

11、修改/export下文件所属组

[root@hadoop01 /]# cd export/
[root@hadoop01 export]# chown wangliukun:wangliukun /export/data/
[root@hadoop01 export]# chown wangliukun:wangliukun /export/servers/
[root@hadoop01 export]# chown wangliukun:wangliukun /export/software/
[root@hadoop01 export]# ll
总用量 0
drwxr-xr-x. 2 wangliukun wangliukun  6 3月   5 21:42 data
drwxr-xr-x. 3 wangliukun wangliukun 17 3月   5 21:48 servers
drwxr-xr-x. 2 wangliukun wangliukun 67 3月  14 19:26 software

12、克隆虚拟机

关闭当前虚拟机，右键虚拟机点击管理–>克隆，完成两次完整克隆。

在这里插入图片描述

并完成相应配置：

主机名	ip
Hadoop01	192.168.10.140
Hadoop02	192.168.10.141
Hadoop03	192.168.10.142

二、安装Hadoop

1、上传Hadoop到/export/software

[root@hadoop01 software]# rz
[root@hadoop01 software]# ls
hadoop-3.3.4.tar.gz  jdk-8u144-linux-x64.tar.gz
[root@hadoop01 software]#

在这里插入图片描述

2、解压hadoop-3.3.4.tar.gz到/export/servers/

[root@hadoop01 software]# tar -zxvf hadoop-3.3.4.tar.gz -C /export/servers/
[root@hadoop01 export]# cd servers/
[root@hadoop01 servers]# ls
hadoop-3.3.4  jdk
[root@hadoop01 servers]# ll
总用量 0
drwxr-xr-x. 10 1024 1024 215 7月  29 2022 hadoop-3.3.4
drwxr-xr-x.  8   10  143 255 7月  22 2017 jdk

3、添加环境变量

#查询目录
[wangliukun@hadoop01 hadoop-3.3.4]# pwd
/export/servers/hadoop-3.3.4
[wangliukun@hadoop01 hadoop-3.3.4]$ sudo vim /etc/profile
[wangliukun@hadoop01 hadoop-3.3.4]$ sudo vim /etc/profile
#使文件生效
[wangliukun@hadoop01 hadoop-3.3.4]$ source /etc/profile
[wangliukun@hadoop01 hadoop-3.3.4]$ hadoop
hadoop             hadoop.cmd         hadoop-daemon.sh   hadoop-daemons.sh
#hadoop测试
[wangliukun@hadoop01 hadoop-3.3.4]$ hadoop version
Hadoop 3.3.4
Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
Compiled by stevel on 2022-07-29T12:32Z
Compiled with protoc 3.7.1
From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
This command was run using /export/servers/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar
[wangliukun@hadoop01 hadoop-3.3.4]$

在以上配置中，/etc/profilr中添加如下：

#HADOOP\_HOME
export HADOOP\_HOME=/export/servers/hadoop-3.1.3#以上中查询的hadoop地址
export PATH=$PATH:$HADOOP\_HOME/bin
export PATH=$PATH:$HADOOP\_HOME/sbin

4、Hadoop目录结构：

[wangliukun@hadoop01 hadoop-3.3.4]$ ll
总用量 92
drwxr-xr-x. 2 1024 1024   203 7月  29 2022 bin
drwxr-xr-x. 3 1024 1024    20 7月  29 2022 etc
drwxr-xr-x. 2 1024 1024   106 7月  29 2022 include
drwxr-xr-x. 3 1024 1024    20 7月  29 2022 lib
drwxr-xr-x. 4 1024 1024   288 7月  29 2022 libexec
-rw-rw-r--. 1 1024 1024 24707 7月  29 2022 LICENSE-binary
drwxr-xr-x. 2 1024 1024  4096 7月  29 2022 licenses-binary
-rw-rw-r--. 1 1024 1024 15217 7月  17 2022 LICENSE.txt
-rw-rw-r--. 1 1024 1024 29473 7月  17 2022 NOTICE-binary
-rw-rw-r--. 1 1024 1024  1541 4月  22 2022 NOTICE.txt
-rw-rw-r--. 1 1024 1024   175 4月  22 2022 README.txt
drwxr-xr-x. 3 1024 1024  4096 7月  29 2022 sbin
drwxr-xr-x. 4 1024 1024    31 7月  29 2022 share
[wangliukun@hadoop01 hadoop-3.3.4]$

bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
sbin目录：存放启动或停止Hadoop相关服务的脚本
share目录：存放Hadoop的依赖jar包、文档、和官方案例

2022 NOTICE.txt
-rw-rw-r–. 1 1024 1024 175 4月 22 2022 README.txt
drwxr-xr-x. 3 1024 1024 4096 7月 29 2022 sbin
drwxr-xr-x. 4 1024 1024 31 7月 29 2022 share
[wangliukun@hadoop01 hadoop-3.3.4]$

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

oop-3.3.4]$

[外链图片转存中…(img-MJPp6BoG-1715648453491)]
[外链图片转存中…(img-DN3rEYhl-1715648453491)]
[外链图片转存中…(img-Nx5DkUmn-1715648453492)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2401_84586689

关注

9
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
2024年最新Hadoop 安装，0基础大数据开发开发

出现以上问题：ping: www.baidu.com: 未知的名称或服务网络原因，我这里是DNS服务器出错判断：是否使用NAT模式，宿主机v8网卡是否正常，虚拟机是否是静态ip且网段是否与虚拟网卡一致，查看DNS解析是否正常等。/etc/resolv.conf是DNS客户机配置文件，用于设置DNS服务器的IP地址及DNS域名，还包含了主机的域名搜索顺序。该文件是由域名解析器（resolver，一个根据主机名解析IP地址的库）使用的配置文件。
复制链接

扫一扫