Hive parquet 表查询报错

最新推荐文章于 2024-07-02 00:25:59 发布
最新推荐文章于 2024-07-02 00:25:59 发布
阅读量8.3k 收藏 1
点赞数
分类专栏： spark hive hadoop 文章标签： hive parquet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jobschen/article/details/77946628
版权
在使用Hive查询Parquet格式存储的数据时遇到错误，根源在于Hive表字段数据类型与Parquet文件实际存储的数据类型不一致。当使用Spark以long类型保存为Parquet后，若Hive表定义为int会导致错误。解决方案是将Hive表的字段类型改为bigint。
摘要由CSDN通过智能技术生成

把数据存成parquet 格式后，建立对应的表，但是查询的时候会报下面的错误：

Hive Runtime Error while processing row [Error getting row data with exception java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWritable
    at org.apache.hadoop.hive.ql.io.parquet.serde.primitive.ParquetStringInspector.getPrimitiveJavaObject(ParquetStringInspector.java:77)
    at org.apache.hadoop.hive.serde2.SerDeUtils.buildJSONString(SerDeUtils.java:242)
    at org.apache.hadoop.hive.serde2.SerDeUtils.buildJSONString(SerDeUtils.java:353)
    at org.apache.hadoop.hive.serde2.SerDeUtils.getJSONString(SerDeUtils.java:197)
    at org.apache.hadoop.hive.serde2.SerDeUtils.getJSONString(SerDeUtils.java:183)
    at org.apache.hadoop.hive.ql.exec.MapOperator.toErrorMessage(MapOperator.java:529)
    at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:502)
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:170)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
    at org.apache.hadoop.m
最低0.47元/天 解锁文章
昵称诚诚
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hive中使用parquet
Lestat.Z.的博客
05-19 1820
如何创建parquet外部表 CREATE EXTERNAL TABLE IF NOT EXISTS XXXX ( ... ) STORED AS PARQUET LOCATION '/data/hive/xxxx' TBLPROPERTIES ('parquet.compression'='SNAPPY') Parquet字段定义与Hive表中字段的关系 如果hive表定义的字段包含且大于parquet文件字段，则parquet文件不存在的字段被查询为NULL parquet文件可以包含hive表定义
解决hive查询parquet表报错NullPointerException异常问题(ProjectionPusher.java:118)
ciqingloveless的博客
02-28 2838
这个问题在hive3.1已经解决，但是我查看源码之后发现hive2.3.6还是没解决，其实解决办法很简单，不知道为什么一直不更新，对应hivebug是HIVE-16958，我的报错信息如下 Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.InvocationTargetExceptio...
Scala与Spark：高效数据处理的完美组合
最新发布
weixin_52938153的博客
07-02 639
通过这篇文章，我们详细讲解了如何使用 Scala 编写 Spark 应用程序，包括数据加载、转换、持久化和优化。我们学习了创建和，并通过丰富的示例展示了 Spark 在大数据处理中的强大能力。优化技巧部分帮助你在处理大规模数据集时提高作业性能。在接下来的文章中，我们将深入探讨 Scala 生态系统中的重要工具和库，进一步提升你在大数据项目中的开发效率和能力。如果你有任何问题或需要进一步的解释，请随时告诉我！
Hive无法读取Parquet
鱼归不知处
08-02 3369
查询Hive表，报错：Failed with exception java.io.IOException:parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file hdfs://xxx:8020/user/hive/warehouse/tmp.db/table1/part-00000.snapp...
spark-sql读取不到parquet格式的hive表
onway_goahead的博客
02-07 1476
情况一： 当向Hive metastore中读写Parquet表时，Spark SQL将使用Spark SQL自带的Parquet SerDe（SerDe：Serialize/Deserilize的简称,目的是用于序列化和反序列化），而不是用Hive的SerDe，Spark SQL自带的SerDe拥有更好的性能。这个优化的配置参数为spark.sql.hive.convertMetastoreParquet，默认值为开启。 所以有时会发生spark自带的序列化方式无法解析hive中的parquet数据，
hive中导入text文件遇到的坑
weixin_44902108的博客
07-19 3358
今天帮一同学导入一个excel数据，我把excel保存为txt格式，然后建表导入，失败！分隔符格式不匹配，无法导入！！！！怎么看两边都是\t，怎么不匹配呢？ 做为程序员，最不怕的就是失败，因为我们有一颗勇敢的心！再来！又特么失败。。。 想了好久，看看了看我的表格式，我犯了一个好低级的错误： hive表的存储格式设置为了orcfile!!! 众所周知：orcfile为压缩格式，可以节约大量存储空间，...
hive on tez 常见报错问题收集
01-26
- 避免使用union all生成结果表，改用其他查询方式。 - 设置`mapred.input.dir.recursive`为true和`hive.mapred.supports.subdirectories`为true，使得MR引擎能够遍历子目录。 - 使用嵌套的查询结构，如 `(select...
hive的一些报错及解决方法
12-18
当更换磁盘阵列后，可能会出现查询Hive表数据时速度变慢甚至报错的问题。 1. **现象**：查询Hive表时，出现`BlockMissingException`异常，表示某些数据块丢失。 - **解决步骤**： - 分析元数据信息，确定哪些分区...
Hive内部表和外部表
01-07
删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字 用于指定hdfs路径，如果不...
Hive分区表
01-07
原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个类别中然后直接去对应类对应的文件中去查询就好，这样只需扫描这一个类别的文件而不需要扫描所有文件，这样提高了查询效率。...
Hive小表的测试数据
07-31
在大数据处理领域，Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，使得大数据分析变得更加便捷。在这个场景中，"Hive小表的测试数据"指的是用于测试Hive...
解决HIVE挂载Parquet报错QueryExecutionException/MutableLong cannot be cast to xxx expressions.MutableInt
qq_39285950的博客
04-27 550
QueryExecutionException: Encounter error while reading parquet,ParquetDecodingException: Can not read value,MutableLong cannot be cast to org.apache.spark.sql.catalyst.expressions.MutableInt报错解决办法.parquet和hive底层数据结构不一致.强制cast数据结构解决
hive执行查询出现：org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row
热门推荐
wuzhilon88的专栏
10-10 2万+
Diagnostic Messages for this Task: Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row          at org.apache.hadoop.hive.ql.
Error: attempt to setup a Window for datatype VARCHAR 和 Hive Runtime Error while processing row (ta
weixin_43681796的博客
11-06 851
环境： 这个问题在我使用CDH搭建的集群上遇到的，主要是建表的时候统一用的VARCHAR类型，不要问为什么，我也不太清楚，总之生产上就是这么做的就是了。然后执行聚合函数的窗口函数的时候报的这个错误。之前也有过这种类似的操作，但是还是第一次碰见这种错误，在我解决这个问题的过程中，出现了两种错误，我都记录了，但是不保证都是因为我说的这个原因。 问题内容： 第一个错误 Vertex failed, vertexName=Reducer 2, vertexId=vertex_1604444511298_001
问题随记 —— org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.IntWritable
繁依Fanyi的博客
09-02 4175
Map 类 key的默认输入是 LongWritable 型，不能强转。Hadoop 运行 jar 包出现以下问题。
hive--hive runtime error while processing row
qq_46893497的博客
08-12 5716
文章目录报错解决 报错 hive runtime error while processing row 。。。 org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1625031122720_5833339_m_000146_0: Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveExceptio
java.lang.UnsupportedOperationException异常解决
TFHoney的博客
08-26 1256
UnsupportedOperationException异常
java.lang.UnsupportedOperationException 如何解决
My_wife_QBL的博客
12-02 6046
通常，这个异常是由于尝试对一个不支持修改的集合或对象执行修改操作而引起的。解决这个异常的方法取决于具体的上下文和代码。文档通常会明确说明哪些操作是受支持的，哪些是不受支持的。确保你正在尝试的操作在该上下文中是合法的。仔细检查你的代码，确保你对集合或对象执行的操作是合法的，如果需要修改，确保你正在使用支持修改的对象或集合。如果你在自定义类中遇到这个异常，确保你的类或对象支持所需的修改操作。考虑修改类的设计，使其支持你的操作。确保你正在使用的集合类是支持修改操作的。创建的列表是不可变的，而。
Sqoop拉取数据到hive数据库的Parquet格式分区表
liu_feng_zi_的专栏
01-14 2059
Sqoop拉取数据到hive数据库的Parquet格式分区表问题sqoop拉取语句查询结果解决Hcatalogsqoop使用Hcatalog参数参数解释 问题 在使用sqoop拉取数据到hive数据库时，如果hive中的表是parquet格式的分区表，那么虽然显示拉取数据成功，但查询数据时会出问题 sqoop拉取语句 /opt/cloudera/parcels/CDH/bin/sqoop import \ --username xxxx \ --password 'xxx' \ --connect "jd
Spark向Hive表写数据报错
06-08
Spark向Hive表写数据报错可能有多种原因，以下是一些常见的解决方法： 1. 检查Hive表的权限是否足够，确保Spark用户有足够的权限访问Hive表和目录。 2. 检查Spark提交时是否指定了Hive库和表名，确保指定的库和表名正确。 3. 检查Spark版本是否与Hive版本兼容，如果版本不兼容，可能会导致写入失败。 4. 检查Hive表的分区是否正确，如果Spark写入的数据需要分区，则需要在写入时指定正确的分区。 5. 检查Spark配置中是否开启了Hive支持，如果没有开启，则无法将数据写入Hive表。 6. 检查Hive表的字段类型与Spark数据类型是否一致，如果类型不一致，可能会导致写入失败。 如果以上方法都无法解决问题，可以查看Spark和Hive的日志，查找具体的错误信息，以便更好地定位问题所在。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值