2024年Hadoop(01) Hadoop3(1)，【性能优化实战

最新推荐文章于 2024-09-26 13:54:23 发布

2401_84166306

最新推荐文章于 2024-09-26 13:54:23 发布

阅读量619

点赞数 19

分类专栏：程序员文章标签： hadoop 大数据分布式

本文链接：https://blog.csdn.net/2401_84166306/article/details/138456670

版权

本文详细介绍了Hadoop的单机配置和伪分布式配置过程，包括环境变量设置、配置文件修改和运行实例。强调了PATH变量配置、Hadoop的配置文件如core-site.xml和hdfs-site.xml的修改，以及NameNode和DataNode的启动。通过运行实例展示了Hadoop的使用，如grep命令，并提到了HDFS上的文件操作。此外，提供了全面的大数据学习资料，适用于不同层次的学习者。

摘要由CSDN通过智能技术生成

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

如果 Hadoop 安装正确并设置了正确的环境变量，它将显示 Hadoop 的版本信息，请必须确保你位于正确的 Hadoop 安装目录下，并且具有执行权限来运行 hadoop 命令。

4.2 相对路径和绝对路径

请务必注意命令中的相对路径与绝对路径，本文后续出现的 ./bin/...，./etc/... 等包含 ./ 的路径，均为相对路径，以 /usr/local/hadoop 为当前目录。

例如在 /usr/local/hadoop 目录中执行 ./bin/hadoop version 等同于执行 /usr/local/hadoop/bin/hadoop version。可以将相对路径改成绝对路径来执行，但如果你是在主文件夹 ~ 中执行 ./bin/hadoop version，执行的会是 /home/hadoop/bin/hadoop version，就不是我们所想要的了。

4.3 Hadoop的PATH变量配置

为了可以使系统能够在任何目录下都能直接运行Hadoop的可执行文件，即hadoop、hdfs等命令，需要完成PATH变量配置。

具体而言，export命令用于设置环境变量，PATH是一个特殊的环境变量，用于指定系统在哪些目录中查找可执行文件。通过将Hadoop所在的bin和sbin目录添加到PATH中，系统就能够在运行命令时自动搜索并找到Hadoop的可执行文件。

cd ~
vim ~/.bashrc

然后在该文件的最上面输入以下的内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.6
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

最后一行是在原有配置JAVA_HOME的PATH路径（在上面JDK的配置中的PATH配置）的基础上，增加了 $HADOOP\_HOME/bin: </$