（转）Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

最新推荐文章于 2024-07-11 15:01:05 发布

RayBreslin

最新推荐文章于 2024-07-11 15:01:05 发布

阅读量1.2k

点赞数 1

分类专栏： hive hadoop 文章标签： hive hadoop

原文链接：https://blog.csdn.net/abc_123_abc_123_/article/details/103087254

版权

hive 同时被 2 个专栏收录

51 篇文章 3 订阅

订阅专栏

hadoop

25 篇文章 1 订阅

订阅专栏

当在Hive中执行查询时遇到BlockMissingException错误，提示无法获取数据块，经检查发现是由于DataNode节点宕机导致。解决方法包括检查并重启宕机的DataNode，确保Hadoop集群的正常运行。

摘要由CSDN通过智能技术生成

【转载原因：hive中查询时报错，同样错误。然后，经确认确实是datanode宕掉了。】

【转载原文：https://blog.csdn.net/abc_123_abc_123_/article/details/103087254】

hadoop 报错：

Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1020558569-1xx.1xx.xx.xxx-1569589467468:blk_1073741990_1170 file=/user/hive/warehouse/xxx.db/emp/xxx.txt (state=,code=0)

原因：
datanode宕机

解决办法

查看datanode是否有宕机
启动datanode

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

RayBreslin

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案

weixin_53019598的博客

03-08

1989

仅记录，新手有误轻喷。

java api操作hdfs报错Exception in thread “main“ org.apache.hadoop.hdfs.BlockMissingException: Could not

qq_46005111的博客

08-04

1174

java api操作hdfs报错Exception in thread "main" org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

参与评论您还未登录，请先登录后发表或查看评论

外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

01-09

1、遇到问题今天使用自己的电脑，使用外网操作阿里云服务器上的HDFS。报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595 防火墙记得关掉；查看DataNode是否启动；有些数据块是损坏了，可以命令查看阿里云防火墙已经关闭了使用 jps 查看本地本地 datanode 启动没问题使用 hadoop fsck /weblog/log.

[解决方案]org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

weixin_45212094的博客

04-14

6275

[解决方案]org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block...报错情况查看受损block有可能当前路径下的受损block不止一个删除损坏的block 报错情况 Caused by: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: xxxxxxxxxxxxxxxxxxxx file=/p

报错Failed with exception java.io.IOException:java.io.IOException: Not a file: hdfs://master:9000

最新发布

a_black03的博客

07-11

279

【代码】报错Failed with exception java.io.IOException:java.io.IOException: Not a file: hdfs://master:9000。

hive 0.12读取textfile函数调用栈

vah101的专栏

03-07

1268

at org.apache.hadoop.util.LineReader.readLine(LineReader.java:123) at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:140) at org.apache.hadoop.mapred.LineRecordReader.next(Line

Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

初级程序员

11-15

1547

hadoop 报错： Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1020558569-1xx.1xx.xx.xxx-1569589467468:blk_1073741990_1170 file=/user/hive/warehouse/xx...

org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

qq_45494908的博客

01-11

4155

使用IDEA 编译Hive源码。启动Hive，并查询数据时报错： Failed with exception java.io.IOException:org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-533367018-172.16.69.205-1640615257526:blk_1073741857_1033 file=/user/hive/warehouse/my_db.db/emp_hive/emp

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO错误的处理方法，适用于hadoop3.1.3

weixin_51273963的博客

07-03

5049

hadoop3.1.3、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Nativ、idea

idea中Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Native

qq_56572867的博客

04-02

761

这个困扰了我三天的问题，之前已经不想解决了，直到再一次遇到，决定彻底干它，之前也在网上搜了一些解决它的办法，什么改变环境还有加入NativeIO，都没有用，不过最后还是使用了NativeIO的方法解决了，之前一直没有用的原因是，没有把文件放对位置正确的位置应该是放在java包下，和项目包并行，而且必须是这个包名org.apache.hadoop.io.nativeio和NativeIO这个类名，不然不能覆盖原来的这个类下面附上NativeIO的源码，有的包可能要自己引一下，细节上应该不用说了

MapReduce报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio

weixin_42229056的博客

09-13

1万+

在使用MapReduce的小测试的时候，Driver类启动，或报下面的错误 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properl...

Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.3.1

热门推荐

yonghutwo的专栏

10-09

3万+

跑hive脚本也就是mr程序时遇到以下错误： Ended Job = job_1406698610363_0394 with errors Error during job, obtaining debugging information... Examining task ID: task_1406698610363_0394_m_000014 (and more) from job jo

java.io.IOException: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException:

红叶的博客

12-15

3286

报错信息： hive 执行hql 时报错 java.io.IOException: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-55946962-192.168.10.131-1602028063083:blk_1073744426_3602 file=/user/hive/warehouse/sgghive.db/business/business.txt End

MapReduce任务报 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

03-26

1049

1. 执行任务前，在shell脚本里已删除损坏的块 ./hdfs fsck /.../ -delete 任务仍然失败了，报这个异常。检查块还是健康的 ./hdfs fsck /.../ -files 2. 通信问题可能导致这个异常追根溯源 package org.apache.hadoop.hdfs; package org.apache.hadoop.hdfs; ...

org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1421546975-192.168.216.200-

Yuki的博客

06-13

1万+

这个错误就是NN与DN失联了，我的报错是在下载HDFS上的文件时报的错我的解决办法是停掉集群重新启动再次执行命令正常我这个一个是伪集群，如果全分布式的话有的结点DN起不来，那么就需要将所有结点下的/var/abc文件夹干掉，并重新 hdfs namenode -format 格式化 ...

org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

xiaozhaoshigedasb的博客

04-03

8184

防火墙记得关掉；查看DataNode是否启动；有些数据块是损坏了，可以命令查看 hadoop fsck <path> 然后可以删除损坏的数据块 hadoop fsck <path> -delete hadoop fsck其他参数解释： <path> start checking from this path -move m...

Hadoop程序运行中的Error(1)-Error: org.apache.hadoop.hdfs.BlockMissingException

萌兔兔MMQ！！

09-14

608

15/03/18 09:59:21 INFO mapreduce.Job: Task Id : attempt_1426641074924_0002_m_000000_2, Status : FAILED Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-35642051-192.168.199.91-1419581604721:blk_1073743091_2267 file=/filein/fi

Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.

12-09

6489

错误很明显无法获得BP-965200530-172.21.3.170-1400216975207:blk_-1762002543329523353_80392 file=/user/bdsdata/.staging/job_1406698610363_0394/job.split 的数据，然后节点监控页面发现datanode已经死了两个（本来有三个datanode两个namenode），然后看了

Error: java.io.IOException: java.lang.reflect.InvocationTargetException

03-07

Error: java.io.IOException: java.lang.reflect.InvocationTargetException 是一个Java中的错误，它通常在使用反射机制时出现。让我来解释一下这个错误的含义和可能的原因。这个错误是由于在使用反射机制时发生了异常，具体来说是在调用方法或构造函数时出现了异常。java.io.IOException 表示在输入输出操作中发生了异常，而 java.lang.reflect.InvocationTargetException 表示在调用方法或构造函数时发生了异常。可能的原因包括： 1. 调用的方法或构造函数本身抛出了异常，导致 InvocationTargetException。 2. 反射调用的目标方法或构造函数不存在或不可访问。 3. 反射调用的目标方法或构造函数的参数不匹配。为了解决这个问题，你可以检查以下几点： 1. 确保你使用反射调用的方法或构造函数存在，并且可访问。 2. 检查反射调用的参数是否正确。 3. 检查目标方法或构造函数本身是否抛出了异常，如果是，需要处理异常或者捕获并处理 InvocationTargetException。