Hive - 自定义UDF - HttpClient依赖冲突

最新推荐文章于 2021-10-29 16:50:57 发布
最新推荐文章于 2021-10-29 16:50:57 发布
阅读量959 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leen0304/article/details/117965636
版权
本文详细记录了在使用Hive自定义UDF时遇到的HttpClient依赖冲突问题，从报错信息的分析，到错误排查，揭示了冲突的真实原因是由于不同版本的HttpClient库之间的冲突。通过排除冲突的jar文件，最终成功解决问题。同时，还介绍了httpclient-4.2.5版本中GET和POST方法的使用。
摘要由CSDN通过智能技术生成

1、报错信息：


# FAILED: SemanticException [Error 10014]: 
Line 2:22 Wrong arguments '"蔡徐坤asda EXO"': 
org.apache.hadoop.hive.ql.metadata.HiveException: 
Unable to execute method public static java.lang.String GetStarKeyWord.evaluate(java.lang.String)  
on object GetStarKeyWord@6a937336 of class GetStarKeyWord 
with arguments {
   蔡徐坤asda EXO:java.lang.String} of size 1

2、排查错误：

网上显示多为 evaluate方法名错误，其实不然；因为没进去方法体，所以无详细信息可查，逐步测试…

3、真实原因：

引用的HttpClient和 hive-exec还有hadoop-common自带的冲突

4、排除冲突jar
最低0.47元/天 解锁文章
生命不息丶折腾不止
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Hive中UDF函数包含HttpClient依赖冲突
北京小辉
04-11 2139
目录 一、错误信息 二、问题分析及解决 三、httpclient-4.2.5版本Get，Post方法 四、httpclient-4.5.3版本Get，Post方法 一、错误信息： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public java.lang.String...
使用Hive UDF时jar包冲突问题及解决方案
SmallCarrot的博客
04-08 2219
问题背景 使用Hive开发UDF，UDF中使用到了com.fasterxml.jackson包中的jackson-databind，版本为2.10.2，pom引用方式如下： <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version&g
HttpClient工具类遇到jar包冲突
dam454450872的博客
05-19 8857
上周一要写一个HttpClient工具类，用的httpcomponents-4.5.5，但是项目中pom文件中还有httpcore-4.1.2和httpclient-3.1，pom文件如下图：然后就遇到了下面的异常：可以看到异常是httpcomponents-4.5.5包下的ManagedHttpClientConnectionFactory类中依赖LaxContentLengthStrategy...
hive UDF需要jar包
12-09
hive编写 udf 至少需要引入的jar包：hive-exec-xxx.jar 和 hadoop-core-xxx.jar
Hive UDF IP解析（一）：依赖包兼容性问题
weixin_33947521的博客
03-26 454
Java依赖环境： &lt;dependency&gt; &lt;groupId&gt;org.apache.hive&lt;/groupId&gt; &lt;artifactId&gt;hive-exec&lt;/artifactId&gt; &lt;version&gt;2.3.0&lt;/version&gt; &lt;/dependency&a
hive-udf:hive自定义函数
05-18
hive-udfhive自定义函数主要实现hive3种自定义函数1，udf函数，主要用于处理一对一数据处理2，udtf函数，主要用于处理一对多数据处理2，udaf函数，主要用与处理多对一数据聚合处理
hive-exec-2.1.1.jar
最新发布
03-14
hive-exec-2.1.1 是 Apache Hive 的一部分，特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive ...
hive-exec-udf
09-19
《深入理解Hive执行与用户自定义函数(hive-exec-udf)》 在大数据处理领域，Apache Hive作为一款基于Hadoop的数据仓库工具，扮演着重要角色。它提供了类SQL的查询语言（HQL）来操作分布式存储的数据，极大地简化了大...
hive-exec-3.1.2 排除guava
03-19
hive-exec-3.1.2 排除guava
hive-jdbc-1.2.1-standalone.jar
10-21
dbeaver-cli.exe客户端连接hive所需要的其中一个jar包 hive-jdbc-1.2.1-standalone.jar
Hive自定义UDTF函数
QiSorry
03-11 529
导入必要的 Hive 依赖 <dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>3.1.2</version> </dependency>
Hive平台UDF调用实践之乱码
萧逸才的博客
09-14 1268
应用场景 从Hive数据仓库批量捞取数据通过UDF中HttpURLConnection调用至服务端； 问题 服务端拿到的中文数据部分存在乱码； 排查 1、查询MySql数据库，发现源数据非乱码且编码格式为UTF-8； 2、查询Hive数据仓库，发现数据非乱码且编码格式为UTF-8； 3、初步判断乱码发生在HttpURLConnection调用过程中； 解决 修...
hive UDF详解&实例
Nougats的博客
05-04 2823
实现UDF(User-Defined-Function) 需要继承org.apache.hadoop.hive.ql.UDF 需要实现evaluate函数（evaluate函数支持重载）实例：实现UDF查找hive表中array类型列的值中是否包含某一项 SELECT FIND_IN_ARRAY(column, ‘key’) FROM users; 数据准备# cat /root/person
hive的udf开发
03-23 1145
Hive的UDF开发只需要重构UDF类的evaluate函数即可。例： public String evaluate(String key, String data) { // System.out.println("print 1234!"); try { if (null != key && null != data) { return decrypt
hive语句遇到的反斜杠问题
无知是恶
10-29 2884
需求：regexp_replace(字段wfss,’\\’,’&’) 匹配wfss里数据包含反斜杠’\’，然后再给它替换成’&’, 一开始我只给了两个反斜杠，运行会报错， 搜了一圈，需要四个才行：regexp_replace(字段wfss,’\\\\’,’&’) 后来配调度脚本的时候，加了hive -e"…" 结果报了如下错误： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execut
Hive的UDF开发踩过的那些坑儿
阿尼古
03-26 4140
hive创建的udf函数，我™好气，日志信息报错都不正常，坑了宝宝大半天排查问题 日志截图如下: 开始执行sql：set role admin 开始执行sql：reload function 开始执行sql：select test_encode_001("datatype_01","ceshi") 任务-T_6013577427031285_20190813164922075_1_1 运行失...
android的报错提示：java.lang.IllegalStateException: Could not execute method for android:onClick
彬sir哥的博客
08-10 3269
android的报错提示： E/AndroidRuntime: FATAL EXCEPTION: main Process: com.datab.cn, PID: 21154 java.lang.IllegalStateException: Could not execute method for android:onClick at android.support.v7.app.AppCom
SQL语句整理四--hive
小强签名设计 的博客
07-13 1050
文章目录创建数据库：使用数据库：重命名表名：建表时判断该表是否存在：查询某个表的分区信息：展示表结构：desc命令：将生成的结果导入到一个文件中：datediff，date_add和date_sub： 创建数据库： create database jiuyebu; 使用数据库： use jiuyebu; 重命名表名： ALTER TABLE FaRen_JiChuShuJu141 RENAME TO FaRen_JiChuShuJu; 建表时判断该表是否存在： create table if not
hive 自定义udf实现分词
04-29
Hive 自定义 UDF 实现分词需要经过以下几个步骤： 1. 编写自定义 UDF 类，在其中实现分词的逻辑。该类需要继承 Hive 的 UDF 类，并实现 evaluate() 方法。 2. 编译自定义 UDF 类，并打包成 jar 包。可使用 Maven ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生命不息丶折腾不止

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值