hadoop配置与问题

最新推荐文章于 2021-09-25 15:44:45 发布
最新推荐文章于 2021-09-25 15:44:45 发布
阅读量1.6k 收藏
点赞数
分类专栏： 计算平台 文章标签： namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sixtyfour/article/details/11714639
版权

Hadoop集群配置方法见：Hadoop集群配置（最全面总结）


Hadoop启动后使用JPS查看进程情况，发现没有namenode，找了半天原因， 最后发现可能有这么几个：

  1.在 HADOOP_HOME/conf/ hadoop-env.sh 里面，要把export HADOOP_PID_DIR=/var/hadoop/pids这一行的注释去掉，或者自己指定一个路径，比如export HADOOP_PID_DIR=${HADOOP_HOME}/pids。因为默认是放在/tmp目录下，而这个目录会时不时被清空，所以jps查看时候就找不到namenode的进程了。

   2.修改core-site.xml中的hadoop.tmp.dir属性，以及hdfs-site.xml和mapred-site.xml中的对应属性，一定不要放在/tmp目录下

<property>
<name>hadoop.tmp.dir</name>  
<value>/home/admin/hadoop/tmp</value> 
</property>

   3. hadoop的创建用户最好不要是root，否则后面可能遇到权限的问题。注意文件的owner一致。

   4. /etc/hosts文件中的主机名，要和core-site.xml和mapred-site.xml中的对应。一般来说要使用主机名，但是尝试后还是不行，反而使用localhost行，不明白为什么。

210.32.xxx.xx    lenovo_3    # Added by NetworkManager
#127.0.0.1  localhost.localdomain   localhost
127.0.0.1 localhost
#::1    lenovo_3    localhost6.localdomain6 localhost6


下面是从别处找来的一些错误和解决方法的例子：

1.在root账户(非hadoop账户)下操作hadoop

启动namenode失败，log中提示错误：

INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot lock storage /opt/data/hadoop/hdfs/name. The directory is already locked.

2013-08-06 09:54:45,052 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.


因为在root账户下启动了下hadoop，虽然Ctrl+C终止了，但是master上的namenode在root下启动了，这时候切换到hadoop账户下再启动hadoop会出现目录被root账户下的namenode进程锁定，导致FSNameSystem启动失败。

解决办法：切换至root，用jps查看启动的进程，kill掉就OK。


root账户下启动hadoop（前提是hadoop权限账户不是root账户），终止后切换到hadoop账户，会出现Permission Denied

2013-08-06 09:51:50,882 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.FileNotFoundException: /opt/data/hadoop/hdfs/name/in_use.lock (Permission denied)

是因为root会把文件权限更改，使用chown -R hadoop:hadoop /opt/data/hadoop/hdfs/*更改用户权限即可


hadoop无法正常启动(1)

执行  $ bin/hadoop start-all.sh之后,无法启动.

异常一

 Exception in thread "main" java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.

localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:214)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:135)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:119)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:481)


解决方法：此时是没有配置conf/mapred-site.xml的缘故.  在0.21.0版本上是配置mapred-site.xml,在之前的版本是配置core-site.xml,0.20.2版本中配置mapred-site.xml无效,只能配置core-site.xml文件

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

  <property>

    <name>mapred.job.tracker</name>

    <value>hdfs://localhost:9001</value>

  </property>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

</configuration>

 

hadoop无法正常启动(2)

异常二、

starting namenode, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-namenode-aist.out

localhost: starting datanode, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-datanode-aist.out

localhost: starting secondarynamenode, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-secondarynamenode-aist.out

localhost: Exception in thread "main" java.lang.NullPointerException

localhost:      at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:134)

localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:156)

localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:160)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:131)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:115)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:469)

starting jobtracker, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-jobtracker-aist.out

localhost: starting tasktracker, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-tasktracker-aist.out

 

解决方法：此时是没有配置conf/mapred-site.xml的缘故.  在0.21.0版本上是配置mapred-site.xml,在之前的版本是配置core-site.xml   , 0.20.2版本中配置mapred-site.xml无效,只能配置core-site.xml文件

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

  <property>

    <name>mapred.job.tracker</name>

    <value>hdfs://localhost:9001</value>

  </property>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

</configuration>

 

hadoop无法正常启动(3)

异常三、

starting namenode, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-namenode-aist.out

localhost: starting datanode, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-datanode-aist.out

localhost: Error: JAVA_HOME is not set.

localhost: starting secondarynamenode, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-secondarynamenode-aist.out

localhost: Error: JAVA_HOME is not set.

starting jobtracker, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-jobtracker-aist.out

localhost: starting tasktracker, logging to /home/xixitie/hadoop/bin/../logs/hadoop-root-tasktracker-aist.out

localhost: Error: JAVA_HOME is not set.

 

解决方法:

请在$hadoop/conf/hadoop-env.sh文件中配置JDK的环境变量

JAVA_HOME=/home/xixitie/jdk

CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME CLASSPATH




hadoop无法正常启动(4)

异常四:mapred-site.xml配置中使用hdfs://localhost:9001，而不使用localhost:9001的配置

异常信息如下：

11/04/20 23:33:25 INFO security.Groups: Group mapping impl=org.apache.hadoop.sec                                                                             urity.ShellBasedUnixGroupsMapping; cacheTimeout=300000

11/04/20 23:33:25 WARN fs.FileSystem: "localhost:9000" is a deprecated filesystem name. Use "hdfs://localhost:9000/" instead.

11/04/20 23:33:25 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id

11/04/20 23:33:25 WARN fs.FileSystem: "localhost:9000" is a deprecated filesystem name. Use "hdfs://localhost:9000/" instead.

11/04/20 23:33:25 WARN fs.FileSystem: "localhost:9000" is a deprecated filesystem name. Use "hdfs://localhost:9000/" instead.

 

解决方法：

mapred-site.xml配置中使用hdfs://localhost:9000，而不使用localhost:9000的配置

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

  <property>

    <name>mapred.job.tracker</name>

    <value>hdfs://localhost:9001</value>

  </property>

 

hadoop无法正常启动(5)

异常五、no namenode to stop 问题的解决:

异常信息如下：

11/04/20 21:48:50 INFO ipc.Client: Retrying connect to server: localhost/127.0.0 .1:9000. Already tried 0 time(s).

11/04/20 21:48:51 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s).

11/04/20 21:48:52 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 2 time(s).

11/04/20 21:48:53 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 3 time(s).

11/04/20 21:48:54 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 4 time(s).

11/04/20 21:48:55 INFO ipc.Client: Retrying connect to server: localhost/127.0.0 .1:9000. Already tried 5 time(s).

11/04/20 21:48:56 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 6 time(s).

11/04/20 21:48:57 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 7 time(s).

11/04/20 21:48:58 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 8 time(s).

 

解决方法:

这个问题是由namenode没有启动起来引起的,为什么no namenode to stop,可能之前的一些数据对namenode有影响,

你需要执行:

$ bin/hadoop namenode -format      //如果还是不成功，试一下sudo

然后

$bin/hadoop start-all.sh


hadoop无法正常启动(6)

异常五、no datanode to stop 问题的解决:

有时数据结构出现问题会产生无法启动datanode的问题。

然后用 hadoop namenode -format  重新格式化后仍然无效，/tmp中的文件并没有清楚。

其实还需要清除/tmp/hadoop*里的文件。

执行步骤：

     一、先删除hadoop:///tmp 

       hadoop  fs -rmr /tmp

    二、停止 hadoop   

       stop-all.sh

    三、删除/tmp/hadoop*

       rm -rf /tmp/hadoop*

    四、格式化hadoop

       hadoop namenode -format

    五、启动hadoop 

        start-all.sh

之后即可解决这个datanode没法启动的问题


异常六、name node in safe mode

org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode

说明Hadoop的NameNode处在安全模式下。 
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。 

解决方法：bin/hadoop dfsadmin -safemode leave 
也就是关闭Hadoop的安全模式，就可以了。不行试一下sudo。

cs064
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop安装与配置
11-06
Hadoop 安装与配置 Hadoop 是一个开源的分布式计算框架，广泛应用于大数据处理和分析领域。为了使用 Hadoop，需要安装和配置 Hadoop 环境。本文将详细介绍 Hadoop 的安装和配置过程。 下载 Hadoop 要安装 Hadoop...
Hadoop安装与配置
03-20
### Hadoop安装与配置知识点详解 #### 一、Hadoop简介及核心组件 **Hadoop** 是Apache软件基金会旗下的一款开源分布式计算平台，其主要功能是处理和存储大规模数据集。Hadoop的核心组件包括 **Hadoop分布式文件...
win10启动hadoop时遇到的坑
四国棋客
06-03 1万+
目录 背景 1、Exception in thread "main" java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority. 2、Exiting with status 1: org.apache.hadoop...
hadoop常用命令
qq_32812063的博客
01-21 219
hadoop fs,hadoop dfs以及hdfs dfs区别： The FileSystem (FS) shell is invoked by bin/hadoop fs. All the FS shell commands take path URIs as arguments. The URI format is scheme://autority/path. For HDFS the s...
HADOOP 单机模式 伪分布式 完全分布式区别
yhblog的博客
11-11 1万+
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统，一般仅用于本地MR程序的调试 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode) 　　请注意分布式运行中的这几个结点的...
hadoop fs command
admin_15082037343的博客
06-22 537
fromhttp://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html Usage: hadoop fs [generic options] [-appendToFile<localsrc> ... <dst>] ...
hadoop配置文件夹
最新发布
05-15
Hadoop是一个开源的分布式计算框架，而PySpark是Python编程语言与Apache Spark的接口，使得用户能够方便地在Spark上进行数据分析。下面将详细讨论这两个技术以及它们的配置文件夹相关知识。 首先，Hadoop的配置...
hadoop安装与配置.pdf
02-28
### Hadoop安装与配置知识点详解 #### 一、Hadoop简介 Hadoop是由Apache基金会开发的一个开源分布式系统基础架构，其主要目标是为大规模数据集提供存储和处理能力。Hadoop的核心组件包括： - **HDFS（Hadoop ...
hadoop的默认配置文件
08-12
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它允许在廉价硬件上处理大量数据，提供了高可靠性、高扩展性和高效能的数据存储与处理能力。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）、...
一步一个坑的在docker里安装hadoop
lianghyan的专栏
06-02 186
>docker run -v /Users/Shared/dockerdir:/data --name hadoin -it -p 9870:9870 hado /bin/bash >cp /data/hadoop-3.3.0.tar.gz . >tar -zxvf hadoop-3.3.0.tar.gz >docker start hadoin >docker exec -it hadoin /bin/bash #edit the file etc/hadoop/..
hadoop-2.7.1/tmp/dfs/namesecondary/in_use.lock (Permission denied) 错误解决
lepton126的专栏
10-08 4049
hadoop-2.7.1/tmp/dfs/namesecondary/in_use.lock (Permission denied) 解决 在log文件中有错误java.io.FileNotFoundException: /home/hadoop/hadoop-2.7.1/tmp/dfs/namesecondary/in_use.lock (Permission denied)信息，查看 该文件
hadoop-namenode配置及问题处理方案
weixin_30873847的博客
11-24 204
第一步：修改core-site.xml，配置如下内容： <?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <config...
【BUG处理】jps命令，无法正常显示进程
weixin_47011327的博客
09-25 3061
出错现象：1.启动hdfs，再输入jps时发现进程没有正确显示。 2.查看日志datanodes，发现有错 3.查看日志namenode，会出现这样的错误：Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority. 解决方法： 1.有可能是之前格式化多次或者是手动输入了主要配置文件（有时候即使肉眼看起来内容一样，但其中也有可以会出现错误，所以建议配置文件最好是去复制粘贴。相关配置文件可以.
Hadoop学习（一）
Royce Wang专栏
03-01 1万+
<br />今天刚刚从hadoop网址下载了edition 0.21，上传到公司内网 server上试了一把。<br /> <br />跟着官方网站走了一趟，在执行<br />Format a new distributed-filesystem:<br />$ bin/hadoop namenode -format<br />后执行<br />Start the hadoop daemons:<br />$ bin/start-all.sh <br />时报错：<br /> <br /> <br />20
Hadoop常见问题搜集
linjay18的专栏
08-06 2549
1.在root账户(非hadoop账户)下操作hadoop 启动namenode失败，log中提示错误： INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot lock storage /opt/data/hadoop/hdfs/name. The directory is already locked. 2013-08-06 0
Hadoop集群搭建
yaocong1993的博客
08-07 933
目录 一、 一、安装部署3台联网的服务器 1. 下载VMware Workstation Pro https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html 安装VMware Workstation Pro 2. 下载CentOS-7-x86_64-DVD-2009.iso https://mirrors.aliyun.com/centos/7/isos/x86_64/ 安装...
fs.default.name和fs.defaultFS
热门推荐
lepton126的专栏
03-08 1万+
在hadoop的配置文件 core-site.xml中，需要设置fs.default.name或fs.defaultFS ，具体应该使用哪一个，会造什么样的错误，需要在实际操作中去验证。官网有下面这段描述 We need to have only one of the two (fs.default.name or fs.defaultFS, and the former is d...
Hadoop分析tomcat访问日志
dsbjoe的专栏
09-06 182
今天照着《hadoop实战》写了个小例子，解析tomcat日志统计各个浏览器的访问次数   package com.ice.stat; import java.io.IOException; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.apache.hadoop.fs.Pa...
Hadoop集群安装配置与详解
接着，下载并解压Hadoop的二进制包，配置环境变量，如HADOOP_HOME，以及Hadoop配置文件如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`。在这些配置文件中，我们需要指定NameNode和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值