2024年大数据最全hadoop（使用），2024年最新写给程序员的大数据详细教程

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

为了安全和管理方便，建议为Hadoop创建一个专用用户。

sudo adduser hadoop
（确保sudo已经安装好）

4. 下载并解压Hadoop

1. 访问Apache Hadoop的官方网站下载最新版本的Hadoop。（清华大学hadoop镜像）

这里推荐使用清华大学镜像下载
以下载3.3.6为例子：
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2. 解压下载的Hadoop压缩包到指定目录，例如/usr/local/hadoop。可以使用以下命令：

sudo tar -xzvf hadoop-x.y.z.tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-x.y.z /usr/local/hadoop

5. 配置Hadoop环境变量

1. 打开当前用户的.bashrc文件：

nano  ~/.bashrc

2. 在文件末尾添加Hadoop环境变量：

export HADOOP_HOME=/usr/local/hadoop 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME

3. 应用更改：

source ~/.bashrc

6. 配置Hadoop

编辑Hadoop配置文件，这些文件位于$HADOOP_HOME/etc/hadoop/目录下：

• Hadoop集群的搭建（结束）——修改hadoop配置文件以及启动集群服务-CSDN博客 最后·在hadoop-env.sh最后添加

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

#### 7. 格式化HDFS文件系统


在启动Hadoop之前，需要格式化HDFS文件系统：

hdfs namenode -format

#### 8. 启动Hadoop


使用以下命令启动所有Hadoop守护进程：

start-dfs.sh
start-yarn.sh

#### 9. 验证安装


![img](https://img-blog.csdnimg.cn/img_convert/244725ec3e1469afbffb44fa85dfe9d7.png)
![img](https://img-blog.csdnimg.cn/img_convert/fd741f189ca249ecb25b18eadd6a3c83.png)
![img](https://img-blog.csdnimg.cn/img_convert/be1c70af5d09bec1a5e88723bc075ec9.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**