hive的udf序列化报错(object not serializable)

报错如下:

Serialization stack:
	- object not serializable (class: java.lang.Object, value: java.lang.Object@1430d9d9)
	- field (class: com.yeahmobi.dmp.export.Hive2Es_user_bundle_country_many$$anonfun$run$2, name: nonLocalReturnKey1$1, type: class java.lang.Object)
	- object (class com.yeahmobi.dmp.export.Hive2Es_user_bundle_country_many$$anonfun$run$2, <function1>)
	- element of array (index: 4)
	- array (class [Ljava.lang.Object;, size 8)
	- field (class: org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$10, name: references$1, type: class [Ljava.lang.Object;)
	- object (class org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$10, <function2>)
	at org.apache.spark.serializer.SerializationDebugger$.improveException(SerializationDebugger.scala:40)
	at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:46)
	at org.apache.spark.serializer.JavaSerializerInstance.serialize(JavaSerializer.scala:100)
	at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:342)
	... 38 more

我的udf是:

ss.udf.register("getRouteCode",(routeKey:String) =>  {
  if(routeKey.isEmpty){
    return 99
  }
  (routeKey.hashCode() & Integer.MAX_VALUE) % 8
  
  
})

修改后的udf是

ss.udf.register("getRouteCode",(routeKey:String) =>  {
  val routeCode: Int =routeKey match  {
    case null|""=> 99
    case _=> {
      (routeKey.hashCode() & Integer.MAX_VALUE) % 8
    }
  }
  routeCode
})

错误就是 routeKey.isEmpty 这块的问题,如果要判空,就用模式匹配做,要不就会序列化不了

问题解决

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当使用Hive中的UDTF(User-Defined Table Function)时,序列化错误可能会发生。这通常是由于UDTF返回的表无法正确序列化导致的。在处理大量数据时,这种错误可能会发生。为了解决这个问题,有几个方法可以尝试: 1. 检查是否忽略错误选项被设置为false。根据引用,默认情况下,Hive会忽略错误并继续执行下一行。如果设置为true,则会在遇到错误时停止执行。 2. 检查Hive的Partitioner类是否正确设置。根据引用,默认的Partitioner类是'org.apache.hadoop.hive.ql.io.DefaultHivePartitioner'。确保这个类正确设置,以确保正确的分区和序列化。 3. 检查Hive Map Join缓存的行数是否适当。根据引用,默认情况下,Hive Map Join会缓存25000行。如果处理的数据量超过了这个数量,可能会导致序列化错误。可以尝试调整这个值以适应实际的数据量。 如果以上方法都没有解决问题,还可以尝试更新Hive版本或查找相关的错误日志和文档以获取更多的帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [hive 各配置参数用法](https://blog.csdn.net/u012969412/article/details/78010093)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值