hive报错（2）udf无法找到第三方的类

最新推荐文章于 2023-12-28 12:19:47 发布

weixin_33734785

最新推荐文章于 2023-12-28 12:19:47 发布

阅读量713

点赞数

文章标签：大数据开发工具

原文链接：http://blog.51cto.com/cdelliqi/1542635

版权

解决方法为使用eclipse插件 fat jar 进行打jar包，就不会报错了。

一 fat jar 安装方法

（1）下载安装

http://sourceforge.net/projects/fjep

下载完解压，将jar拷贝到eclipse的plugins，重启eclipse。

（2）校验是否安装成功

（3）打包自己的udf

右键项目--》export

选择fat jar 下一步

设置jar的名，同时将mainfest修改为META-INF，然后下一步。

选择需要添加的jar包，然后完成即可。

转载于:https://blog.51cto.com/cdelliqi/1542635

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33734785

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Hive启动报错无法找到class— java.lang.NoClassDefFoundError

天亮了

08-16

1万+

Hive启动时，报错无法找到class，如java.lang.NoClassDefFoundError Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException at java.lang.Class.forName0

spark 添加依赖_Hive和SparkSQL自定义UDF中依赖第三方Jar包

weixin_39828859的博客

12-21

1398

关键字：Hive udf、SparkSQL udf、 第三方jar包当在Hive和SparkSQL中使用的自定义UDF函数需要依赖第三方jar包时，可以将所有jar包通过类似于fatjar等插件打在一起，但显得太麻烦、太累赘了。其实只需要在运行时候将依赖的第三方jar包和udf函数jar包一起添加到CLASSPATH这种即可；这里的SparkSQL指整合了Hive的。Hive中添加第三方JAR包1...

参与评论您还未登录，请先登录后发表或查看评论

Hive：写好UDF后，测试时报错：找不到或无法加载主类

qq_44758580的博客

10-22

1335

Hive：写好UDF后，测试时报错：找不到或无法加载主类欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入问题：自定义了一个UDF实现MD5加密，但是在main方法中测试时报错：处理方法：

hive 的udf报错：FAILED: Class fwlhive.hiveudfs.docdb.UnionAn not found

my3187617174的博客

12-09

663

场景描述使用idea+maven编写hive的udf方法。报错信息 FAILED: Class fwlhive.hiveudfs.docdb.UnionAn not found FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask 问题原因 1.idea工程模板不对本人的报错原因是使用了idea的springboot模板，导致package之后的jar包的结构不对，安装 packa

hive UDF里写了main方法，运行提示错误: 找不到或无法加载主类

AiBigData的博客

02-01

1584

hive UDF里写了main方法，运行提示错误: 找不到或无法加载主类由于自定义的udf需要extends UDF，由于UDF在hive exec 的jar包中，pom文件中，这个jar的作用范围是provided,它只影响编译、测试阶段，运行阶段，是使用目标容器中提供的jar，所以运行阶段会提示上面的错误，如果在udf中测试main方法，可以讲provided进行注释，上线后别忘记恢复，否则会与线上hive的jar包冲突。 <dependency>

hiveUDF 报错

程序员小李的博客

04-09

356

hadoop MR 提交任务时，报: Invalid signature file digest for Manifest main attributes 或者hbase shell ，hive 命令行进不去可能有人对大数据jar 进行了修改这是因为需要将jar 里的META-INF/.RSA META-INF/.DSA META-INF/*.SF 删除删除命令 zip -d .jar M...

Hive报错：自定义函数找不到第三方jar包 java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON

最新发布

qq_50833617的博客

12-28

476

hive-evn.sh配置文件中搜索HIVE_AUX_JARS_PATH。HIVE_AUX_JARS_PATH=jar包1路径:jar包2路径。

Hive

joob000的博客

01-11

632

一、CentOS 6.8中安装mysql https://blog.csdn.net/joob000/article/details/85699213. 二、Hive环境安装 Hive安装 1、到下载地址http://apache.fayea.com/hive/，下载apache-hive-1.2.1-bin.tar.gz，解压 tar -xzvf apache-hive-1.2.1-...

hive UDF开发注意事项

竹叶青的专栏

11-14

8182

在开发的hive UDF中，有时候需要使用到第三方jar包，一般的做法是把第三方jar包和udf一起打包，结果在测试udf时，hive报错：java.lang.ClassNotFoundException 解决办法： 1）在运行hive hql时，手动将udf所需要的jar包通过add语句添加（测试通过）； 2）将udf所需

Hadoop详解(七)——Hive的原理和安装配置和UDF，flume的安装和配置以及简单使用，flume+hive+Hadoop进行日志处理

09-05

2974

hive简介什么是hive？① hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转换加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive定义了简单的类似于SQL的查询语言称为QL，它允许熟悉SQL的用户查询数据。同时这种语言也允许熟悉MapReduce的开发者进行开发自定义的mapper和reducer来处理内建的

hive UDF需要jar包

12-09

hive编写 udf 至少需要引入的jar包：hive-exec-xxx.jar 和 hadoop-core-xxx.jar

Hive MapJoin中使用UDF遇到的ClassNotFound的问题

鸣宇淳的专栏

10-23

2302

1、发现问题今天在执行一段hive脚本时遇到报错。脚本简化后示例如下： set hive.auto.convert.join=true; add jar hdfs://nsha/user/dw/udf/dw.hive.udf.jar; create temporary function myudf as 'com.xxx.dw.hive.udf.myUDF'; select a.apply_no, b.overdue_level from ( select apply_no from

Hive实战UDF 外部依赖文件找不到的问题

大数据技术派

12-15

4116

目录关于外部依赖文件找不到的问题为什么要使用外部依赖为什么idea 里面可以运行上线之后不行依赖文件直接打包在jar 包里面不香吗学会独立思考并且解决问题总结其实这篇文章的起源是，我司有数...

Hive和SparkSQL自定义UDF中依赖第三方Jar包

窗外的屋檐

08-25

3053

当在Hive和SparkSQL中使用的自定义UDF函数需要依赖第三方jar包时，可以将所有jar包通过类似于fatjar等插件打在一起，但显得太麻烦、太累赘了。其实只需要在运行时候将依赖的第三方jar包和udf函数jar包一起添加到CLASSPATH这种即可；这里的SparkSQL指整合了Hive的。 Hive中添加第三方JAR包 1：启用hive-cli时候，使用–a

hive自定义UDF依赖第三方jar包

manweizhizhuxia的博客

02-23

4084

上传jar包到HDFS上 hdfs dfs -put xxxx.jar /tmp/hive/ 创建永久函数： create function my_fun as 'com.test.TestUDF' using jar 'hdfs:///tmp/hive/xxxx.jar'; 创建临时函数（只对当前窗口的命令行可用）： create temporary function my_fun as 'com.test.TestUDF' using jar 'hdfs:///tmp/hive/xxxx.jar';

hive 中的异常：1、ClassNotFound

潇水汀寒

08-29

5214

原来用 hive shell 时从没考虑过在哪个目录下使用，有时候在不同目录下还是有区别的，如下面异常，只要换个目录再运行就没这个问题了： [apache@indigo hive]$ pwd /home/apache/diary/0829/hdp_manual_install_rpm_helper_files-2.0.0.22/configuration_files/hive [apache@i

Hive 添加第三方包的方式

lazythinker的专栏

04-10

3518

1、Add jar 对当前shell有效，简单明了；2、hive-env.sh HIVE.AUX.JARS.PATH对服务器无效，仅对当前hive shell有效，不同的hive shell相互不影响，每个hive shell都需要配置，可以配置成文件夹形式。注意：1，根据hive启动脚本，此属性应该也只支持file://也就是本地文件，暂不支持HDFS，没有做验证。2，此配置可...

hiveUDF函数开发

皮皮虾的博客

05-12

334

maven配置  <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-assemblies</artifactId> <version>2.5.1</version> </dependency&g

hive永久添加udf

weixin_45621200的博客

11-09

1066

udf、udaf、udtf

hive 报错return code 2

09-04

Hive 报错 return code 2 表示 Hive 执行作业时出现了错误。这个错误代码通常表示任务的失败，而不是由于语法错误或查询错误导致的。 Hive 报错 return code 2 可能有以下几种原因： 1. 配置问题：Hive 配置文件中的一些参数可能设置不正确，导致任务失败。可以检查 hive-site.xml 文件中的配置项，确保参数的值正确。 2. 数据库连接问题：Hive 在执行任务时需要连接到底层的 Hadoop 分布式文件系统。如果连接出现问题，可能会导致任务失败。可以检查 Hadoop 和 Hive 的连接配置，确保网络设置正确。 3. 内存不足：Hive 作业在执行过程中可能需要大量的内存来处理数据。如果集群中的某个节点的内存不足，可能会导致任务失败。可以检查集群资源管理器（如 YARN）的内存分配情况，增加相应节点的内存限制。 4. 输入数据问题：如果输入数据的格式或内容错误，可能会导致 Hive 任务执行错误。可以检查输入数据的格式和结构，确保与 Hive 表的要求相匹配。 5. 查询问题：如果 Hive 查询的语法或逻辑有错误，也可能导致任务失败。可以检查查询语句的正确性，确保语法正确，并且逻辑与业务需求相符。当 Hive 报错 return code 2 时，我们可以根据错误日志进一步分析具体的错误原因，并采取相应的措施来解决问题。