org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparable

于 2024-04-04 14:04:24 发布
阅读量149 收藏
点赞数 1
分类专栏： 大数据专栏 文章标签： hadoop apache hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37647812/article/details/137374063
版权
在启用Hive 3.0.0的更新和删除功能后，遇到查询错误。问题根源可能是数据存储编码格式不一致。解决方案包括检查并设置表格的编码格式为ORC，以及确保`hive.default.fileformat`配置为ORC。执行这些步骤后，select语句成功执行。
摘要由CSDN通过智能技术生成

在开启hive3.0.0的update、delete命令后，执行select信息报错如下：

根据信息，考虑数据存储过程编码格式不一致引起的。

解决方法

1、查询hive表格的编码格式desc formatted excuterule1；

2、设置表格的编码方式，使用命令alter table excuterul

了解本专栏 订阅专栏 解锁全文 超级会员免费看
magic33416563
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
hive 插入数据报错 org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransport
qq_40555400的博客
03-24 6730
问题描述 执行语句 create table test(id int); 然后 向新创建的表中插入数据 insert into test values(1); 控制台 报错 org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransportException at org.apache.hadoop.hive.ql.metadata.Hive.setPartitionColumnSta
Hive：cannot be cast to org.apache.hadoop.io.XXXWritable 数据类型解决方案
weixin_42687074的博客
12-17 8661
一、 1.1 Mysql表 CREATE TABLE `scrm_user_crowd` ( `id` int(11) NOT NULL AUTO_INCREMENT, `zb_id` int(11) DEFAULT NULL COMMENT '直播ID', `user_id` varchar(50) DEFAULT NULL COMMENT '用户ID', `name` varchar(255) DEFAULT NULL COMMENT '人群名称', `de...
【报错】Hive：cannot be cast to org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector
weixin_42130167的博客
03-25 8821
Hive使用过程遇到报错： Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.serde2.objectinspector.StandardStructObjectInspector cannot be cast to org.apache.hadoop.hive.serde2.objectinspector.Pri...
org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.io.LongWritable -MapReduce数据类型不一致运行错误
weixin_45500051的博客
09-18 6576
MapReduce运行出现如下问题是因为数据类型不一致，需要将数据类型换成一致。 将mapper里面的数据类型换成text，就可以了
hive 报错问题
最新发布
KANGBboy的博客
11-21 575
向量化查询执行是 Hive 的一项功能，可大大减少典型查询操作(如扫描，过滤器，聚合和联接)的 CPU 使用率。向量化查询执行通过一次处理一个 1024 行的块来简化操作。通过有效地使用处理器管道和高速缓存，这些循环以精简的方式进行编译，该方式使用相对较少的指令，并平均在较少的时钟周期内完成每条指令。向量化查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。– 默认情况下，矢量化执行是关闭的；
hadoop常见错误整理
zyj8170的专栏
11-27 1914
版本信息： hadoop 2.3.0 hive 0.11.0 1. Application Master 无法访问 点击application mater 链接，出现 http 500 错误，java.lang.Connect.exception： 问题是由于设定web ui时，50030 端口对应的ip地址为0.0.0.0，导致application master 链接无法定位。 解决办法
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cSerDe may be incompati
蘑菇丁的专栏
08-06 6642
删除表字段会报数据不一致，报错如下 INFO : Executing command(queryId=hive_20190806170220_4bd826b5-21cc-4a31-9fe4-3fa14ada0ede): ALTER TABLE flume.biprod replace columns ( title string comment '影片名称',show_nums int comm...
spark java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/io/orc/OrcFile
04-05
<groupId>org.apache.hadoop <artifactId>hadoop-client <version>3.2.0 <groupId>org.apache.hive <artifactId>hive-exec <version>3.1.2 ``` This will download the required jars for Hadoop and Hive...
结合下面hive元数据信息，生成hive建表语句，并且加上comment，注意day是分区 dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 apk 应用包名 string day string入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 app_name 应用名称 string day string 入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 app_url 平台详情页链接 string day string入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 cate 应用所属分类 string day string入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 other 其他 string day string 入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 region 平台名称 string day stri
06-10
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' LOCATION 'hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_...
hive 执行sql查询任务报错GetFileInfoRequestProto cannot be cast to com.google.protobuf.Message问题解决
qq_42392337的博客
09-05 2548
执行hive sql任务报错org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$GetFileInfoRequestProto cannot be cast to com.google.protobuf.Message
Hive迁移Spark报错org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.Binar
小蚯蚓的博客
11-23 3439
Hive迁移后，读取报错：org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparab 一、问题描述 Hive数据库经过迁移后，spark读取一个表，报错 Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache
Hive udtf 报错 java.lang.String cannot be cast to java.lang.Integer
03-08 3387
Error  ：Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Integerreason :在设置IO类型时采用...
HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat解决方法
fuhtead的博客
08-13 3741
用Spark SQL写入hive-hbase 表报错 java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat at org.apache.spark....
HIVE ORC 报错ClassCastException
weixin_33966365的博客
02-13 2553
HIVE ORC格式的表查询报错 Failed with exception java.io.IOException:java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparable 建表语句如下...
Hive2.3.6升级至Hive3.1.3踩坑
Deegue
07-28 5884
1、coalesce报错 FAILED: SemanticException [Error 10014]: Line 197:4 Wrong arguments ''10'': Unsafe compares BETWEEN different types are disabled for safety reasons. If you know what you are doing, please SET hive.strict.checks.type.safety t
Datax MySQL2Hive抽数ClassCastException: java.lang.String cannot be cast to java.lang.Integer问题解决
欲望以提升热忱 毅力以磨平高山
04-10 2752
1、现象 com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-04], Description:[您配置的文件在写入时出现IO异常.]. - java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Integer at ...
hive orc压缩数据异常java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.h...
weixin_30612769的博客
12-18 7370
hive表在创建时候指定存储格式 STORED AS ORC tblproperties ('orc.compress'='SNAPPY'); 当insert数据到表时抛出异常 Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apach...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

magic33416563

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值