hadoop无法正常启动问题汇总

最新推荐文章于 2024-01-07 04:30:00 发布
最新推荐文章于 2024-01-07 04:30:00 发布
阅读量7.4k 收藏 8
点赞数
分类专栏： Hadoop 文章标签： hadoop logging deprecated server exception java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hit_kongquan/article/details/7003624
版权
在尝试启动Hadoop时遇到了多个异常，包括Invalid URI、NullPointerException和JAVA_HOME未设置等问题。解决方法涉及配置fs.defaultFS、mapred.job.tracker、设置JAVA_HOME环境变量，并确保在mapred-site.xml中使用hdfs://前缀。对于'no namenode to stop'问题，可能需要格式化namenode并重新启动所有服务。
摘要由CSDN通过智能技术生成

hadoop无法正常启动(1)

执行  $ bin/hadoop start-all.sh之后,无法启动.

异常一

 Exception in thread "main" java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.

localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:214)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:135)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:119)

localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:481)


解决方法：
此时是没有配置conf/mapred-site.xml的缘故.  在0.21.0版本上是配置mapred-site.xml,在之前的版本是配置core-site.xml,0.20.2版本中配置mapred-site.xml无效,只能配置core-site.xml文件

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

  <property>

    <name>mapred.job.tracker</name>

    <value>hdfs://localhost:9001</value>

  </property>

  <property>

    <name>dfs.replication</name>

最低0.47元/天 解锁文章
hit_kongquan
关注
专栏目录
HADOOP调优与运维问题汇总
悦分享
08-20 152
在HDFS集群中，Namenode主机上存储了所有的元数据信息，如果此信息丢失，那么整个HDFS上面的数据将不可用，而如果Namenode服务器发生了故障无法启动，解决的方法分为两种情况：如果Namenode做了高可用服务，那么在主Namenode故障后，Namenode服务会自动切换到备用的Namenode上，这个过程是自动的，无需手工介入。新增节点在系统安装完成后，要进行一系列的操作，比如系统基本优化设置，hadoop环境的部署和安装，jdk的安装等等，这些基础工作需要事先完成。
hadoop集群加密问题汇总
Siobhan_Mxin的博客
03-13 2354
1、hadoop集群3个节点启动正常，但是namenode和datanode之间无法正常通讯 2、启动mapreduce作业时，无法启动，报namenode安全模式（safe mode） 3、提交mapreduce作业，map阶段正常，reduce阶段失败，报虚拟内存不足 4、mapreduce作业正常执行，map阶段可以正常结束，但reduce失败，报错 5、如何扩充vbox虚拟盘
hadoop无法启动常见问题
blue1213的专栏
05-23 1008
1、启动hadoop，发现namenode未启动，其他进程可正常启动    解决办法--可以将所有服务停掉，然后重新格式化namenode；bin/hadoop namenode -foramt; 2.  每次机器重启了，namenode都启动不了，造成到原因可能是     在core-site.xml配置中hadoop.tmp.dir的目录在系统启动时被清空 [html] vi
hadoop 初识
bingdongguke的专栏
08-05 777
hadoop无法正常启动(1) 执行  $ bin/hadoop start-all.sh之后,无法启动. 异常一  Exception in thread "main" java.lang.IllegalArgumentException: Invalid URI for
Hadoop 无法启动的问题
weixin_33737134的博客
12-09 240
最近乱搞把本来就快要挂了的hdfs又给弄坏了。问题如下， 应该是节点没有启动。 [hadoop@namenode hadoop]$ hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Capacity: 0 (0 KB) DFS Remaining: 0 (0 KB) DFS Used: 0 (0 K...
Hadoop问题解决-DataNode无法启动问题
birduncle的博客
03-29 3320
按照正常的流程，先格式化文件系统（hadoop namenode -format），然后输入命令 sbin/start-dfs.sh ，会出现DataNode无法启动，而NameNode正常启动
初学（15）——Hadoop datanode无法启动
Zero-to-Hero的博客
09-20 353
WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]
Hadoop使用常见问题以及解决方法
08-21
在 Hadoop 中，Shuffle Error 是一个常见的问题，主要是由于系统默认的文件打开数限制太小，导致程序无法正常运行。解决方法是修改 `/etc/security/limits.conf` 文件，增加文件打开数的限制，将 `nofile` 的值设置...
hadoop集群配置范例及问题总结.docx
10-16
Hadoop集群配置范例及问题总结 Hadoop集群配置是一个复杂的过程，需要详细的规划和实施。以下是Hadoop集群配置的相关知识点： 1. 硬件环境：Hadoop集群需要至少两台机器，安装ubuntu11操作系统，并采用桥接模式，...
hadoop:datanode无法正常启动的解决办法（转）
diyinqian的博客
06-07 9789
转自：https://blog.csdn.net/newfelen/article/details/14446281 hadoop 多次执行命令： hadoop namenode -format后，发现再次启动hadoop后，datanode节点无法正常启动，出现错误代码如下： could only be replicated to 0 nodes, instead of 1，产生这样的错误...
大数据之hadoop启动失败问题集锦
Gavin
03-04 1992
启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
[Hadoop] - Cannot run program "cmake"
weixin_30251829的博客
02-27 810
在编译hadoop的过程中，遇到缺少cmake命令的异常，异常信息为：Cannot run program "cmake" (in directory "/opt/workspaces/hadoop-3.0.0-alpha2-src/hadoop-common-project/hadoop-common/target/native"): error=2, No such file or direc...
hadoop集群报错（把我坑了）
qq_39159736的博客
11-02 385
集群无法启动DataNode https://blog.csdn.net/gis_101/article/details/52679914 https://blog.csdn.net/yrxfight/article/details/100546777 https://www.cnblogs.com/alen-apple/p/13175919.html http://www.mamicode.com/info-detail-2846233.html ...
Windows下读hdfs数据时出现java.lang.IllegalArgumentException: java.net.UnknownHostException:
Ahuuua的博客
10-05 3317
配置文件这样子 问题是这样子： 。。。 解决方法： 是由于Windows下找不到Linux的主机名造成的。 一、将配置文件里的主机名都改成ip地址，例如 hdfs://192.168.0.101/user/superahua/hello.txt 或者 二、修改C:\Windows\System32\drivers\etc\hosts文件 在底部...
Hadoop filesystem连接失败问题解决
如果云层是天空的一封信
12-09 3070
每次重启wsl的时候，hadoop的fs都连不上了！！！ $ hadoop fs -ls / -ls: java.net.UnknownHostException: master Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src>
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS):
m0_62464865的博客
06-20 2717
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.
java.lang.IllegalArgumentException 异常报错完美解决
热门推荐
辰小白
07-12 15万+
目录 修改JDK使用版本 修改开发工具idea配置（eclipse的直接跳过这个看下面） 修改开发工具eclipse配置 学习spring依赖注入的时候碰到这个坑，折腾了许久，记录一下以防其他小伙伴入坑！ 该异常主要原因是因为JDK与Spring版本不一致。要么更换jdk，要么重新下载符合jdk的springjar包 我本地装了两个JDK版本，一个1.8，一个1.7，原本以为只要修改一...
已解决java.lang.IllegalArgumentException异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
01-07 3万+
IllegalArgumentException是由于传递给方法的参数非法或不正确而引发的，要解决这个问题，需要在调用方法前验证输入，并在方法内部使用断言来检查参数的有效性。
hadoop namenode启动失败 jps看不到已经启动的namenode
God Liao On The Way
12-28 3731
问题描述 namemode启动之后shell没有报错，但使用jps明露并不能看到namenode已经被启动。 问题解决 第一步：定位出错的原因。 可以通过分析hadoop的日志文件信息来定位问题的发生原因。这里我们的问题是namenode启动异常，所以可以cd进入hadoop目录中的logs文件中，打开namenode的log文件，namenode的log文件命名为hadoop-root-name...
Hadoop集群问题解析与解决方案
"这是一份关于Hadoop集群常见问题与解决方案的综合资料，包含了作者在网上搜集和自身经验总结的问题，如ShuffleError、Too many fetch failures、处理速度缓慢、datanode启动后无法访问等问题，并提供了相应的解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值