hive查询报错readDirect unsupported in RemoteBlockReader

最新推荐文章于 2024-01-10 05:00:00 发布
最新推荐文章于 2024-01-10 05:00:00 发布
阅读量503 收藏
点赞数
分类专栏： hive 文章标签： hive hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32068809/article/details/127362552
版权

错误：java.lang.UnsupportedOperationException: readDirect unsupported in RemoteBlockReader

因为想用hive查询wasb上的数据，所以为了能访问wasb，在hive/lib下添加了

hadoop-apache-2.7.4-6.jar、hadoop-azure-2.7.3.2.6.4.0-91.jar、hadoop-azure-datalake-2.7.3.2.6.4.0-91.jar三个包，并对hive做了重启（重启metastore）,之后查询hdfs的数据就会报错:readDirect unsupported in RemoteBlockReader,从hive/lib里移除这三个jar包后，hive查询hdfs数据正常

头顶榴莲树
关注
专栏目录
presto查询hudi异常解决
主要分享大数据相关的知识，如Spark、Hudi
05-10 867
记录一个presto查询hudi的异常的解决办法，本人目前对presto还不是很熟，只是在使用过程中遇到了问题，记录一下异常解决方法以及过程 异常原因 原因是因为hdfs block块没有一个和presto在一个节点上的，要复现这个问题，可以把hdfs副本数改为1，这样可以比较快的复现，关于如何修改hdfs副本数：修改hdfs-site.x
BlockReader接口实现类的read操作----RemoteBlockReader2类中read(ByteBuffer buf)函数
weixin_39935887的博客
02-16 416
前面我们将了两个BlockReader接口实现类的read函数，这两个接口实现类分别为BlockReaderLocal类和BlockReaderLocalLegacy类，这两个类都是基于本地读的，就是客户端和datanode在同一台服务器上。而RemoteBlockReader2类是基于UNIX domain socket或者TCP socket，具体是哪一个依赖于配置文件。接下来我们开始分析Re...
java.lang.UnsupportedOperationException解决方法
Denial_learn的博客
08-27 372
在项目中对List进行操作时报错java.lang.UnsupportedOperationException，后来发现操作的List是由数组转换而成的，通过看源码发现问题，并写测试程序如下。 代码： public class ListTest { public static void main(String[] args) { String[] array = {"1","2","3","4","5"}; List<String> list = Arra
已解决java.lang.UnsupportedOperationException异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
01-10 3万+
UnsupportedOperationException是Java中的一种运行时异常，这个异常通常在调用不支持的操作时抛出，比如当尝试修改一个不可变集合时。
BlockReader接口实现类的read操作----BlockReaderLocalLegacy类中read(ByteBuffer buf)函数
weixin_39935887的博客
02-16 464
之前我们分析了四个构造BlockReader类对象函数 1、getLegacyBlockReaderLocal(),该函数返回一个BlockReaderLocalLegacy类对象 2、getBlockReaderLocal(),该函数返回一个BlockReaderLocal类对象 3、getRemoteBlockReaderFromDomain(),该函数返回一个RemoteBlockRe...
hive报错 spark_Spark保存数据到hive,在hive里查询报错
weixin_39840111的博客
12-20 619
我的原创地址：hive查询报错:java.io.IOException:org.apache.parquet.io.ParquetDecodingException​dongkelun.com前言本文解决如标题所述的一个hive查询异常，详细异常信息为：Failed with exception java.io.IOException:org.apache.parquet.io.ParquetDe...
cdh中部署的hive查询报错
kamisane的博客
04-10 539
cdh(5.4.0)中部署的hive查询报错: Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x...
【Hive】Hive查询报错 Malformed ORC file、Invalid postscript、serious problem
可乐
09-01 1969
报错1： [2020-09-01 20:27:48] hive:Failed with exception java.io.IOException:java.lang.RuntimeException: serious problem [2020-09-01 20:27:48] hive:Time taken: 3.237 seconds [2020-09-01 20:27:50] job失败！ 报错2： [2020-09-01 21:00:35]-Failed with exception java.i
hive建表报错.md
05-09
今天更新hive版本的时候,把关联的数据库删掉了，重新生成，之后出现MetaException(message:An exception was thrown while adding/validating class(es) : Column length too big for column 'PARAM_VALUE' (max = ...
spark查orc格式hive数据报错NullPointerException
m0_37813354的博客
03-03 3634
sparkSQL 读取hive表数据时候报如下错误 我的语句很简单如下： val df: DataFrame = sqlContext.sql("select vipId,brandId,dt from pro60050.browse_wxapp_page_dt_partition where dt >= 20200227 and brandId = 253") df.show()...
hadoop-2.7.3.2.6.4.0-91.tar.gz
07-11
ambari源码编译。部分网络资源被墙，下载文件后上传服务器，更改pom文件网络地址为上传后的本地文件地址，即可编译通过
Netty4客户端使用遇到的坑笔记
楠之枫雪的博客
05-29 4067
1.注意ChannelPipeline中handler的调用顺序。完整的发送与接收过程，是先发送再接收，所以是先执行out再执行in。具体参考https://blog.csdn.net/u014614038/article/details/80487942 2.发送数据转码，通过MessageToByteEncoder，比如我使用的是SMessage格式数据： public class S...
启动presto时，日志中出现”Unsupported major.minor version 52.0“解决方案
徐振跃的专栏
01-28 2099
问题： 启动presto：/home/hadoopuser/presto-server-0.166/bin/launcher start 访问：http://hadoopnode:8081/   失败 查看日志：/home/hadoopuser/presto-server-0.166/presto_data/var/log/launcher.log，如下所示 Exception in threa...
java.lang.UnsupportedOperationException list
weixin_34178244的博客
09-06 424
2019独角兽企业重金招聘Python工程师标准>>> ...
java.lang.UnsupportedOperationException的解决方法
热门推荐
weixin_64738832的博客
06-01 6万+
·运行异常：java.lang.UnsupportedOperationException发生问题原因如下：1、在text类中存在两个包：a、java.util.ArrayList包；b、java.util.Arrays.ArrayList包（重点）2、调用Arrays.asList()生产的List的add、remove方法时报异常，这是由Arrays.asList() 返回的是Arrays的内部类ArrayList， 而不是java.util.ArrayList。3、使用asList方法继承的父类的ad
探讨UnsupportedOperationException的原因及解决方案
weixin_30245867的博客
07-21 2271
[原文链接]{https://blog.csdn.net/liu_005/article/details/74091805} 转载于:https://www.cnblogs.com/Wbin01/p/11222483.html
程序中抛出UnsupportedOperationException异常的原因是什么？
欧菲丽的博客
05-11 2297
先看一段代码： List list1 = new ArrayList(); list1.add("test"); String[] array = new String[2]; List list2 = Arrays.asList(array); list2.add("test");//抛出异常 为什么会是这样呢？ 上面的代码list1是在正常的创建list，可以增删内容 ...
hive 启动报错ignor hive default
12-03
但是，根据报错信息“ignore hive default”，我们可以猜测可能是Hive启动时没有正确加载默认配置文件导致的。可以尝试以下两种方法解决该问题： 1. 指定Hive配置文件路径 在启动Hive时，可以通过指定Hive配置文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

头顶榴莲树

你的鼓励是我最大的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值