hive 运行报错

最新推荐文章于 2023-02-23 16:35:44 发布
最新推荐文章于 2023-02-23 16:35:44 发布
阅读量1.5k 收藏
点赞数
文章标签： hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjfx123456/article/details/125878223
版权

Error: Error while compiling statement: FAILED: UDFArgumentTypeException Exactly one argument is expected.

近期用spark跑数据出现这个情况，最后查到问题是sum(if(a.id is not null,1,0)) as shouldrepay_count,

一开始写的是sum(a.id is not null,1,0) as shouldrepay_count,然后就报上面的错误

圆周率的后六位
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hive优化（提高hive运行速度）
01-20
文章目录一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行）具体设置方法1、设置临时的2、修改hive配置文件（hive-site.xml），永久有效二、 一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行） 将hive的job交给yarn执行太慢，hive支持本地模式 設置本地模式之前的，耗時 9.068 設置本地模式之后的，耗時 0.29 具体设置方法 1、设置临时的 在每次执行hql语句之前 都要先执行下面这句话 set hive.exec.mode.local.auto=true;
Hive UDF教程（三）
GatsbyNewton
01-19 3406
1.UDAF 前两节分别介绍了基础UDF和UDTF，这一节我们将介绍最复杂的用户自定义聚合函数（UDAF）。用户自定义聚合函数（UDAF）接受从零行到多行的零个到多个列，然后返回单一值，如sum()、count()。要实现UDAF，我们需要实现下面的类： org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolvero
hive on tez 常见报错问题收集
01-26
1）Failing because I am unlikely to write too. 2）Caused by: java.lang.OutOfMemoryError: Java heap space 3）Current usage: 1.0 GB of 1 GB physical memory used;2.7 GB of 2.1 GB virtual memory used. Killing container 4）java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: null 5）hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的
hive的一些报错及解决方法
12-18
hive的一些报错及解决方法：连接报错、执行脚本卡住、内存溢出报错、表死锁问题
hdfs开启高可用+hive报错
最新发布
02-29
hdfs开启高可用+hive报错
FAILED: UDFArgumentTypeException Exactly one argument is expected.
libing101007的博客
11-20 8611
   hivesql报错，FAILED: UDFArgumentTypeException Exactly one argument is expected.    百度看到有人的sum函数没有加入参数，我的加入了参数但是也报错。百思不得解，一顿乱找，最后发现竟然还是sum函数用错了。求多个字段的和直接用加号即可，而我把几个字段作为参数都...
Hive异常：UDFArgumentTypeException No argument is expected
lixiaotaoplus的专栏
02-12 1万+
背景： 今日在某集市执行一hivesql，sql没有问题，在数据仓库里执行没有问题。 但是在某集市执行后，一直提示UDFArgumentTypeException No argument is expected，很蛋疼。 其中，这个sql涉及到到row_number()、regexp_replace等函数。 分析： 经sql分段排查，是由于使用到row_number()函数才报错
Hive通用型自定义聚合函数（UDAF）
Desilting's 足迹
05-05 1万+
在使用hive进行数据处理时，经常会用到group by语法，但对分组的操作，hive没有mysql支持得好： group_concat([DISTINCT] 要连接的字段 [Order BY ASC/DESC 排序字段] [Separator '分隔符']) hive只有一个collect_set内置函数，返回去重后的元素数组，但我们可以通过编写UDAF，来实现这些功能。
Hive : UDFArgumentTypeException Exactly one argument is expected.
weixin_30367873的博客
06-28 1869
Hive执行时Failed.. 分段执行发现排除一些聚合函数或者内置函数后可以正常执行.. 因为Hive-Sql语句比较长..有很多的case when then 排除后发现是聚合函数的用法问题.. 竟然sb似的只写了个 sum() 里边没写.字段名..日.. 低级失误害死人.. 如果你也报这个错..请仔细检查一下语句把.. 转载于:https://www.cnb...
Mysql、Oracle、Hive中SUM(null)和COUNT(null)
Liu_Arvin的芝士小栈
10-26 7659
Mysql、Oracle、Hive中SUM(null)和COUNT(null)
hive建表报错.md
05-09
今天更新hive版本的时候,把关联的数据库删掉了，重新生成，之后出现MetaException(message:An exception was thrown while adding/validating class(es) : Column length too big for column 'PARAM_VALUE' (max = ...
【HIVE】问题汇总（持续更新）
lin86182824的博客
07-29 3449
1、hive sql报错Error: Error while compiling statement: FAILED: SemanticException UDF reflect is not allowed。 set hive.server2.builtin.udf.blacklist=empty_blacklist; set hive.server2.builtin.udf.blacklist; select t1.device_id, t1.appsflyer_id, t1.dt as server_
Hive自定义函数UDF、UDAF、UDTF
格子衫
07-15 103
0.依赖 <dependencies> <!--添加hive依赖--> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>3.1.2</version> </dependency>
分组查找出现最多的元素hive自定义UDAF
houzhizhen的专栏
03-30 1677
import org.apache.hadoop.hive.ql.udf.generic.*; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.hive.ql.exec.Description; import org.apach
hive数据库往表中插入数据报错：FAILED: UDFArgumentException void not found.
qq_45635773的博客
02-23 786
hive数据库往表中插入数据报错：FAILED: UDFArgumentException void not found.
hive在hue上使用udf时报错
Chenftli的博客
01-14 2824
报错信息： Error while compiling statement: FAILED: SemanticException [Error 10014]: line 1:55 Wrong arguments ‘zw_category_two’: No matching method for class com.medbook.assistant.ArrayIntegrationUDF with (array, array). Possible choices: FUNC(struct<>,
Hive UDAF开发详解
热门推荐
没事看看书
11-30 2万+
说明 这篇文章是来自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions：的不严格翻译，因为翻译的文章示例写得比较通俗易懂，此外，我把自己对于Hive的UDAF理解穿插到文章里面。 udfa是hive中用户自定义的聚集函数，hive内置UDAF函数包括有sum()与count（），UDAF实现有简单与通用
在hue创建hive UDAF函数报错，Error while processing statement: FAILED: Execution Error, return code 1 from
大黄_sama
05-26 4128
纯粹是为了记笔记，以防后面遇到类似问题，又要找一遍问题 1、问题：在hue创建hive UDAF函数报错，Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask。 创建语句：CREATE FUNCTION call_tree_pattern AS 'com.ggj.gateway.elastic.udf.CallTre
Hive：Execution Error, return code 2 和Error while compiling statement: FAILED三个问题
IceelfLuo的博客
07-31 3719
最近在Hive上跑数跑出了三个问题，应该都是hive查询引擎的缺陷，解决问题后照例要记录一下： Execution Error, return code 2 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 这个是因为查询数据量太大，如果建表时存储格式为 Parquet 就会造成内存溢出。 建议：建表时使用 TEXTFILE 进行存储(STORED AS TEXTFILE) 。 Error whi
Hive 作业报错 unable to rename output
06-13
这个错误通常是由于输出路径已经存在导致的。Hive 在执行查询作业时，需要将查询结果写入到指定的输出路径中。如果这个输出路径已经存在，就会出现这个错误。 解决方法： 1. 修改输出路径：在运行 Hive 作业时，可以指定一个新的输出路径，例如： ``` INSERT OVERWRITE DIRECTORY '/new/output/path' SELECT * FROM my_table; ``` 2. 删除输出路径：如果不需要保留之前的输出数据，可以直接删除输出路径，例如： ``` hadoop fs -rm -r /output/path ``` 3. 强制执行查询：如果查询只是读取数据而不需要写入到输出路径中，可以在查询语句前加上 `SET hive.exec.mode.local.auto=true;`，这样就可以强制在本地执行查询，不需要写入到 HDFS 中。 4. 修改配置文件：在 `hive-site.xml` 中添加以下配置： ``` <property> <name>hive.exec.mode.local.auto</name> <value>true</value> </property> ``` 这样就可以在默认情况下强制执行查询，不需要写入到 HDFS 中。 如果以上方法不能解决问题，可以尝试重新启动 Hive 服务或者联系管理员进行进一步排查。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值