hadoop的一些环境变量配置及namenode无法启动问题解决

最新推荐文章于 2022-04-16 13:49:22 发布

ywq9696

最新推荐文章于 2022-04-16 13:49:22 发布

阅读量835

点赞数

分类专栏： 1234 文章标签： mysql mongodb

原文链接：https://blog.csdn.net/yewakui2253/article/details/79598623?utm_medium=distribute.pc_relevant_bbs_down.none-task-blog-baidujs-1.nonecase&depth_1-utm_source=distribute.pc_relevant_bbs_down.none-task-blog-baidujs-1.nonecase

版权

1234 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

本文档介绍了如何配置Hadoop环境变量，包括HADOOP_HOME和JAVA_HOME，并解决Namenode无法启动的问题。关键在于正确设置core-site.xml和hdfs-site.xml中的参数，如hadoop.tmp.dir、fs.defaultFS、dfs.namenode.name.dir和dfs.datanode.data.dir。在遇到问题时，需停止所有服务，删除原有目录并重新格式化Namenode，最后启动服务。

摘要由CSDN通过智能技术生成

scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-env.sh slaves mapred-site.xml.template yarn-site.xml hadoop2:/export/servers/hadoop/etc/hadoop

[root@hadoop01 ~]# hadoop fs -put andy.txt /
[root@hadoop01 ~]# hadoop fs -ls /

#set hadoop env

export HADOOP_HOME=/export/servers/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

#set java env
export JAVA_HOME=/export/servers/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

先启动hadoop01 的namenode 和datanode后再开始连接，然后在开始进行hadoop的操作

namenode无法启动的问题下面红体字是关键，看自己有没有配置，如果不配可能会启动不了namenode

namenode最开始的位置是要配置在core-site.xml，hdfs-site.xml

core-site.xml内容如下：

<configuration>
<property>
<name>hadoop.tmp.dir</name>

ihain.cn/thread-202777030-1-1.html
ihain.cn/thread-202777096-1-1.html
ihain.cn/thread-202777126-1-1.html
ihain.cn/thread-202777160-1-1.html
ihain.cn/thread-202777203-1-1.html
ihain.cn/thread-202777245-1-1.html
ihain.cn/thread-202777277-1-1.html
ihain.cn/thread-202777297-1-1.html
<value>file:/export/data/hadoop/temp/dfs/</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml内容如下：

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/export/data/hadoop/temp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/export/data/hadoop/temp/dfs/data</value>
</property>
</configuration>
导致系统启动后会默认读取linux根目录下的tmp/hadoop-hadoop/下的文件。

修改红体字然后按下面步骤即可

1、先运行stop-all.sh
2、格式化namdenode，不过在这之前要先删除原目录，即core-site.xml下配置的<name>hadoop.tmp.dir</name>所指向的目录，删除后切记要重新建立配置的空目录，然后运行hadoop namenode -format
3、运行start-all.sh
————————————————