Error: attempt to setup a Window for datatype VARCHAR 和 Hive Runtime Error while processing row (ta

最新推荐文章于 2024-04-05 01:00:00 发布

花掏尽

最新推荐文章于 2024-04-05 01:00:00 发布

阅读量907

点赞数

分类专栏：问题 hive 文章标签： hive 大数据 hadoop

本文链接：https://blog.csdn.net/weixin_43681796/article/details/109530413

版权

在CDH集群环境下，使用VARCHAR类型建表并执行窗口函数时遇到错误。错误信息涉及数据类型问题。通过修改建表语句为适当数据类型或在查询时使用CAST转换解决。总结中提到此类问题罕见且棘手。

摘要由CSDN通过智能技术生成

环境：

这个问题在我使用CDH搭建的集群上遇到的，主要是建表的时候统一用的VARCHAR类型，不要问为什么，我也不太清楚，总之生产上就是这么做的就是了。然后执行聚合函数的窗口函数的时候报的这个错误。之前也有过这种类似的操作，但是还是第一次碰见这种错误，在我解决这个问题的过程中，出现了两种错误，我都记录了，但是不保证都是因为我说的这个原因。

问题内容：

第一个错误


Vertex failed, vertexName=Reducer 2, vertexId=vertex_1604444511298_0012_18_01, diagnostics=[Task failed, taskId=task_1604444511298_0012_18_01_000000, diagnostics=[TaskAttempt 0 failed, info=[Error: Error while running task ( failure ) : attempt_1604444511298_0012_18_01_000000_0:java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {
  "key":{
  "_col0":"b","_col1":"2"},"value":{
  "_col0":1260}}
	at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:211)
	at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:168)
	at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:374)
	at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:73)
	at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
	at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61)
	at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37)
	at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
	at java.