Hadoop 运行环境搭建--初学者版本(1)，2024年最新通宵都要看完这个大数据开发关键技术点

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

虚拟机配置

• 使用yum安装功能，需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp\_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp\_seq=2 ttl=128 time=7.72 ms

• 安装epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

yum install -y epel-release

关闭防火墙，关闭防火墙开机自启

注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

创建用户，并修改用户的密码

[root@hadoop100 ~]# useradd ola
[root@hadoop100 ~]# passwd ola

配置用户具有root权限，方便后期加sudo执行root权限的命令

root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
ola   ALL=(ALL)     NOPASSWD:ALL

ola这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了ola密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以ola要放到%wheel这行下面

在/opt目录下创建文件夹，并修改所属主和所属组

• 在/opt目录下创建module、software文件夹

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

• 修改module、software文件夹的所有者和所属组均为ola用户

[root@hadoop100 ~]# chown ola:ola /opt/module 
[root@hadoop100 ~]# chown ola:ola /opt/software

• 查看module、software文件夹的所有者和所属组

[root@hadoop100 ~]# ll /opt/
总用量 0
drwxr-xr-x. 2 ola  ola  6 3月  22 12:05 module
drwxr-xr-x. 2 root root 6 10月 31 2018 rh
drwxr-xr-x. 2 ola  ola  6 3月  22 12:05 software

卸载虚拟机自带的JDK

#查询是否安装
[root@hadoop100 ~]# rpm -qa | grep -i java 
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
tzdata-java-2020a-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch
java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
#卸载
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 

重启虚拟机

[root@hadoop100 ~]# reboot

1.2.克隆虚拟机

克隆3台台

利用模板机hadoop100，克隆3台虚拟机：hadoop102 hadoop103 hadoop104 ，克隆时，要先关闭hadoop100
克隆后hadoop100所有配置和文件都会复制过来！！因此它的hostname依旧是hadoop100，需要进行下面的操作，更改配置变成新的虚拟机。

修改克隆机IP

见Linux学习笔记，其中GATEWAY、DNS、BOOTPROTO不需要改，更改IPADDR即可，其中IPADDR网段不变，将地址改一下，比如102

修改克隆机主机名

见Linux学习笔记

host映射

已经克隆过来了，不需要操作了

1.3.在克隆虚拟机上安装 JDK

在创建的普通用户下操作

卸载 JDK

具体操作见本文档：卸载虚拟机自带的JDK

导入JDK

将 JDK 导入到 opt 目录下面的 software 文件夹下面

[ola@hadoop102 ~]# scp [jdk路径] root@192.168.109.131:/opt/software

检查是否上传成功

[ola@hadoop102 ~]# ll /opt/software/
total 190444
-rw-r--r--. 1 root root 195013152 Mar 22 13:55 jdk-8u212-linux-x64.tar.gz

解压 JDK

在software文件夹下，解压 JDK 到/opt/module 目录下

[ola@hadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
#查看解压是否成功
[ola@hadoop102 software]# ls /opt/module/
jdk1.8.0_212

配置 JDK 环境变量

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/f92992b913b695ae70f15bb2f529c0c0.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-aUxPEUPU-1713707021527)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**