Spark二次调用Hive UDF异常问题解决办法

最新推荐文章于 2022-02-23 21:14:26 发布
最新推荐文章于 2022-02-23 21:14:26 发布
阅读量7.5k 收藏 4
点赞数 2
分类专栏： Spark 文章标签： spark hive udf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dingyufei615/article/details/104428997
版权
文章详细介绍了在Spark中遇到的针对Hive UDF二次调用时出现的异常问题，该异常源于Spark的一个未修复BUG。作者提供了解决方案，即在启动Spark时通过`--jars`指定UDF JAR包，避免Executor在第二次加载时出现问题。此外，文章还总结了Spark UDF与Hive UDF的区别和集成时可能遇到的坑，包括重载问题、创建冲突和执行选择等。
摘要由CSDN通过智能技术生成

异常如下：

No handler for UDF/UDAF/UDTF 'com.******.***': java.lang.ClassNotFoundException: com.***; line 1 pos 7
org.apache.spark.sql.AnalysisException: No handler for UDF/UDAF/UDTF 'com.***': java.lang.ClassNotFoundException: com.***; line 1 pos 7

这个异常其实是Spark sql在对hive 自定义udf 二次调用导致的异常的BUG,现在还没修复，受影响的Spark版本包括spark2.3/2.4
详情见这个issue   自定义udf 二次调用导致的异常


我尝试发现是在启动spark 带上 --jars指定udf jar包就不会出现该问题。不带jar包 第一次调用executor会从远程下载这个jar 正常执行没出问题，第二次classloader加载时会出问题，具体原因不明，后面再研究。

 

再总结下Spark UDF与Hive UDF那些小坑：

1.首先 Spak UDF不支持重载，Hive UDF 可以重载。Spark SQL某些内部函数是有重载功能的，比如to_timestamp()

最低0.47元/天 解锁文章
dingyufei615
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
spark调用hiveUDTF踩坑记录
weixin_40206335的博客
06-06 2260
sparksql使用UDTF踩坑记录 由于业务需求需要使用UDTF处理数据 公司spark版本为2.2 udtf代码如下： package com.sankuai; import com.google.common.collect.Lists; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apac
SparkSql之UDF、UDAF、UDTF
莫慌 吃口药
10-11 614
UDF---------------------------------------- 完整的示例：object SparkSQL { def main(args:Array[String]):Unit = { //创建SparkConf()并设置App名称 val conf = new SparkConf().setAppName("SparkSQLDemo").setMa...
spark自定义hive的UDF/UDAF函数
念念的博客,记录学习的点点滴滴！
02-27 1312
自定义UDF函数 package com.ws.spark import org.apache.spark.sql.DataFrame import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} object MyUDF{ def main(args: Arr...
spark sql 写udf 几种方式总结及遇到的问题
weixin_42489619的博客
02-23 1736
遇到复杂逻辑的时候，如果hivesql 或者sparksql中的自带的函数无法满足你的需求，这时候使用udf能很快的解决你的问题。 方法一、使用scala写一个函数，通过sparksql 注册这个函数。 //比如我在spark 代码中定义了一个函数 val f：Int=>Int = (x:Int) =>{ 2*x} //使用udf之前，先注册 sparkSession.udf.register("pro_text2", f) //在spark sql 中使用 val aa:Data
spark sql中踩到的一个坑，自定义Udf会执行多次，即使在已经cache table的情况下
xiao_jun_0820的专栏
11-21 3726
spark sql中踩到的一个坑，自定义Udf会执行多次，即使在已经cache table的情况下:  https://issues.apache.org/jira/browse/SPARK-15282 以前也没发现这个问题，因为如果一个UDF是无状态的话，其实执行多次并不会导致结果的最终一致性被打破，说来也巧啊，最近写了一个UDF里面封装了redis的hsetnx操作 val hse
SparkSQL基础知识及与HIVE整合UDF函数编写
weixin_45793819的博客
04-21 1529
什么是SparkSQL 用于处理结构化数据的Spark模块 可以通过DataFrame和DataSet处理数据 SparkSQL特点 1易整合 可以使用java、scala、python、R等语言的API操作 2统一的数据访问 连接到任何数据源的方式相同。 3 兼容hive 4标准的数据连接（JDBC/ODBC） SQL 优缺点 优点：表达清晰 ，难度低，已学习 **缺点：**复杂的业业务需要复杂...
Hive UDF自定义函数-----------报错解析
大而话之-Big Data
01-16 2345
一、报如下错误 ----- Diagnostic Messages for this Task: Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesi...
hive UDF需要jar包
12-09
在Hive中，UDF（User Defined Functions）是用户自定义函数，允许开发人员扩展Hive的内置功能，以满足特定的数据处理需求。...了解和掌握这些知识点，能够帮助开发者更好地利用Hive UDF解决复杂的数据处理问题。
javasql笔试题-spark-hive-udf:展示如何在ApacheSpark中使用HiveUDF的示例项目
06-17
java sql笔试题示例 Hive UDF 项目 介绍 该项目只是一个示例，包含多个 (UDF)，用于 Apache Spark。...它旨在演示如何在 ...Hive UDF ...Hive UDF？...Hive UDF ...Spark ...调用 Hive UDF。 您不能将其作为来自 D
nzrs-hive-udf:NZRS 中使用的 Hive UDF 集
06-01
1. **Hive UDF 开发**：了解如何创建自定义的 Hive 函数，包括编写 Java 类，实现特定的接口（如 `HiveUDF`, `HiveUDAF`, 或 `HiveUDAFFinalizer`），以及使用 Hive 提供的注解（如 `@Description` 和 `@...
hive-udf:NexR Hive UDF
05-17
NexR Hive UDF 关于 NexR Hive UDF是Hive用户定义功能的集合。 执照 快速开始 $ git clone https://github.com/nexr/hive-udf.git $ cd hive-udf $ mvn clean package or $ ant -Dhive.install.dir=../hive/build/dist clean package 使用Hive PDK运行测试 $ ant -Dhive.install.dir=../hive/build/dist test 安装和配置 hive-site.xml <property> <name>hive.aux.jars.path</name> <value>file:///path/to/nexr-hive-udf-[VERSION].jar</value> </pr
IK分词器通过spark加载词典，并在spark中使用
01-08
- 对于文本数据，可以使用Spark DataFrame或RDD进行操作，调用UDF进行分词处理。 - 结果可以进一步存储到HDFS、Elasticsearch等系统，或者进行其他分析。 5. **Spark与ES（Elasticsearch）集成**：Elasticsearch...
udf.zip_UDF案例_udf_udf模板
09-24
UDF，全称为User Defined Function（用户自定义函数），在编程和数据分析领域中扮演着重要角色，尤其是在数据库管理系统、大数据处理框架如Hadoop的Hive、Pig或Spark SQL等中。UDF允许用户扩展系统功能，以满足特定...
SparkSQL使用之如何使用UDF
大数据机器学习
04-25 7734
使用Java开发一个helloworld级别UDF，打包成udf.jar，存放在/home/Hadoop/lib下，代码如下： package com.luogankun.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class HelloUDF extends UDF { public String evaluate(
hive关联查询多次执行结果不一致_Hive 调优，先掌握这几种优化模式
weixin_39623411的博客
12-01 724
Hive和MapReduce中拥有较多在特定情况下优化的特性，如何利用好相关特性，是Hive性能调优的关键。本文就介绍那些耳熟但不能详的几种Hive优化模式。一、本地模式当一个MapReduce任务的数据量和计算任务很小的时候，在MapReduce框架中Map任务和Reduce任务的启动过程占用了任务执行的大部分时间，真正的逻辑处理其实占用时间很少，但是给用户的感受就是：很小的任务，同样执行较长的...
hive map 转string_Hive迁移Presto的技术实践
weixin_39862871的博客
11-22 665
本文来自OPPO互联网技术团队，如需要转载，请注明出处及作者。欢迎关注我们的公众号：OPPO_techhive设计之初，就被定位一款离线数仓产品，虽然Hortonworks喊出了Make Apache Hive 100x Faster的牛逼口号，也在上面做了大量的优化，然而性能提升依旧不大。而随着OPPO数据量一步步的增多，动辄运行几个小时的hive再也满足不了交互查询的需求，因此我们引入了pre...
Hive UDF使用
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-11 2100
UDF：用户自定义函数，在java中写函数，打成jar，在hive中添加jar，在hql中使用该函数， UDF函数开发 标准函数（UDF）：以一行数据中的一列或者多列数据作为参数然后返回解雇欧式一个值的函数，同样也可以返回一个复杂的对象，例如array，map，struct。 聚合函数(UDAF)：接受从零行到多行的零个到多个列，然后返回单一值。例如sum函数。 生成函数（UDTF）:接受...
Spark之hive的UDF自定义函数
九师兄
07-04 7709
1.简单的 package com.llcc.sparkSql.MyTimeSort import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.hive.HiveContext object UDFDemo1 { def main(args:Array[String]):Unit = { val conf = new SparkConf().setAppName("aa") val .
hive udf 转spark udf
最新发布
05-25
将 Hive UDF 转换为 Spark UDF 的步骤如下： 1. 导入 Spark SQL 函数库 ```python from pyspark.sql.functions import udf from pyspark.sql.types import StringType, IntegerType ``` 2. 定义 Spark UDF 例如，如果要将 Hive UDF `my_func` 转换为 Spark UDF，可以按照以下方式定义： ```python def my_func(param1, param2): # Hive UDF 逻辑 return result spark_my_func = udf(my_func, StringType()) # 定义 Spark UDF ``` 其中，`my_func` 是 Hive UDF 的函数名，`param1` 和 `param2` 是输入参数，`result` 是返回值。 3. 注册 Spark UDF ```python spark.udf.register("spark_my_func", spark_my_func) ``` 其中，`spark_my_func` 是注册的 Spark UDF 的名称，`spark` 是 SparkSession 对象。 4. 使用 Spark UDF 可以通过 Spark SQL 或 DataFrame API 来使用注册的 Spark UDF。例如，使用 DataFrame API： ```python from pyspark.sql.functions import col df = spark.read.table("my_table") df = df.withColumn("new_col", spark_my_func(col("col1"), col("col2"))) ``` 其中，`my_table` 是 Hive 表的名称，`col1` 和 `col2` 是表中的列名，`new_col` 是新生成的列名。 注意，Spark UDF 的输入和输出类型需要与 Hive UDF 的类型对应。在上面的示例中，假设 Hive UDF 的返回类型是字符串类型，因此 Spark UDF 的返回类型也是 `StringType()`。如果 Hive UDF 的返回类型是整数类型，Spark UDF 的返回类型应该是 `IntegerType()`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值