低版本impala多次去重UDAF

最新推荐文章于 2022-11-03 15:14:54 发布
最新推荐文章于 2022-11-03 15:14:54 发布
阅读量620 收藏
点赞数
分类专栏： 大数据 c++ hadoop 文章标签： impala UDAF 大数据 C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luohualiushui1/article/details/117605233
版权
大数据 同时被 3 个专栏收录
4 篇文章 0 订阅
订阅专栏
c++
3 篇文章 0 订阅
订阅专栏
hadoop
2 篇文章 0 订阅
订阅专栏

     使用低版本的impala在进行去重统计count(distinct 字段)操作的时候会遇到很大的限制，就是一条sql只能对一个字段进行去重统计，多于一个字段使用count(distinct 字段)则会提示如下报错：

”errorMessage:AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as ..."

    目前高版本的impala和hive,spark则是支撑多个不同字段进行去重统计操作的。

    针对该问题我用C++开发了一个UDAF如下，欢迎试用优化：

    https://github.com/Gevygg/impala-distinct-count

 

路边草随风
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
impala jdbc41 jar包，版本2.6.4
01-15
impala的jdbc包，jdbc官方版本2.6.4，验证可以使用。目前最新版本了。
impala去重的两种方案
weixin_43831204的博客
08-12 2432
方案一 聚合函数,GROUP BY可以跟多个字段 SELECT min( o.userid ),min( o._id ),min( o.action ),min( o.event_value ), min( o.deviceid ),min( o.platform ),min( o.mac ),min( o.androidid ), min( o.ip ),min( o.channel ),min( o.brand ),min( o.oaid ),min( o.time ), min( o.imei
impala 自定义聚合函数不能用java开发，只能用c++开发
微风
09-19 1015
impala3.0 自定义函数(UDF:USER-DEFINED FUNCTION)有 单行函数（eg: rtrim(),abs(),concat() ,substr()等），可以使用scala、java 、C++开发 自定义聚合函数（UDAF：USER-DEFINED AGGREGATE FUNCTION） （eg:sum(),max(),avg() 等 ）,只能用C++开发，暂...
impala开窗函数/分析函数最全版（强烈建议收藏）
weixin_43140586的博客
04-06 5844
impala开窗函数/分析函数最全版（强烈建议收藏） 本文基于impala3.2版本，所有的内置开窗分析函数； 文章目录impala开窗函数/分析函数最全版（强烈建议收藏）一、补充概念说明1、什么是开窗函数？2、开窗函数的分类？3、本章节中使用的表格数据如下：表名 student_score二、排名开窗函数1、排名开窗函数的使用语法2、排名开窗函数（排名函数）3、排名开窗函数（切片函数）4、排名开窗函数（序列分析函数）5、排名开窗函数（lead+lag）6、排名开窗函数（first_value+last_v
impala 源码级别优化
公众号[大数据技术与应用实战]，分享大数据实战案例
05-03 1902
impala整体架构 创建分析函数 编写udaf函数 添加参数，支持over 修改源码支持参数 优化分析函数排序 整体执行流程 整体类图 执行sql 生成的执行计划： 流程分析 执行计划查询，找出瓶颈 be端执行优化，全排序改成预排序+归并排序 计算hdfs的扫描范围 具体流程 be初始化（代码细节，暂时忽略） impala整体架构 参考文章：https://w...
Hive/Impala 自定义UDF函数一气呵成
DaiSnow的博客
06-16 603
Hive UDF开发流程： 1.继承UDF类，重写evaluate()方法并实现函数逻辑（如果方法不存在则自己创建该方法） 依赖包hadoop-common和hive-exec： <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifact
大数据Impala二次开发.pdf
10-14
大数据Impala二次开发.pdf
CHD impala官方文档，版本CDH5.5.0
11-17
Impala provides fast, interactive SQL queries directly on your Apache Hadoop data stored in HDFS, HBase, or the Amazon Simple Storage Service (S3). In addition to using the same unified storage ...
0433-Kerberos环境下Impala Daemon在CDH5.15版本中KRPC端口27000异常分析
01-20
CDH集群升级至5.15并且启用Kerberos的情况下，在命令行使用impala-shell执行SQL操作会报如下异常： [cdh01.fayson.com:25003] > select count(*) from ods_user; Query: select count(*) from ods_user Query ...
impala自定义日期处理的udf函数
03-23
由于impala处理日期的函数如date_sub(),date_trunc(),last_day()等这些日期处理函数还需要进行日期格式化为yyyy-MM-dd使用,sql代码段过长,导致频繁嵌套过于复杂.所以自定义udf函数解决这些问题.以下为实现过程.
06-自定义UDF、UDTF函数
huaxing_ba的博客
06-11 334
自定义UDF、UDTF函数
Impala的count(distinct QUESTION_ID) 与ndv(QUESTION_ID)
u011250186的博客
11-03 635
Impala的count(distinct QUESTION_ID) 与ndv(QUESTION_ID)
Impala查询参数 APPX_COUNT_DISTINCT
chenzl的专栏
10-25 1464
允许在单条查询中有多个COUNT(DISTINCT)操作,通过在内部重写COUNT(DISTINCT)为NDV()函数; 获得的结果是近似的; 默认,一条查询只能有一个COUNT(DISTINCT) CDH 5.2以上支持; 值: Boolean;0或false;1或true;其他值解释为false; 默认值: false(set语句显示为0) 实例 > select count(disti...
SQL/HQL中数据去重的3种方式
Thomson617的博客
04-09 5968
30万条数据的去重比较 1.distinct select distinct * from tableName hive用时: 40.47秒 impala用时: 11.98秒 2.group by select c1,c2,c3,c4,c5,max(c6) c6 from tableName group by c1,c2,c3,c4,c5 hive用时: 22.8秒 impala用时: 2....
自己动手写Impala UDF
Hello World
10-06 9828
概述出于对可扩展性和性能的考虑，UDF已变成大数据生态圈查询引擎的必备功能之一，无论是Calcite、Hive、Impala都对其进行支持，但是UDF的支持有利也有弊，好处在于它提供了对某些用户独有需求的支持，例如某些产品需要将表中的某字段使用自定义的方式解析成可读字段，例如需要实现特殊的聚合函数；它的弊端在于它对用户开发，这样对于恶意的用户可能执行非正常的逻辑.
大数据时代快速SQL引擎-Impala
热门推荐
Hello World
09-04 3万+
背景随着大数据时代的到来，Hadoop在过去几年以接近统治性的方式包揽的ETL和数据分析查询的工作，大家也无意间的想往大数据方向靠拢，即使每天数据也就几十、几百M也要放到Hadoop上作分析，只会适得其反，但是当面对真正的Big Data的时候，Hadoop就会暴露出它对于数据分析查询支持的弱点。甚至出现《MapReduce: 一个巨大的倒退》此类极端的吐槽，这也怪不得Hadoop，毕竟它的设计就是
Impala语法中distinct的小特性
lemon627497658的博客
10-08 1565
在传统数据库中以下语句能正常运行 SELECT DISTINCT CAST('' AS VARCHAR(10)) AS A1 ,CAST('' AS VARCHAR(91)) AS A2 ,CAST('' AS VARCHAR(8)) AS A3 FROM A; 但是在Impala中，这段语句会报错。 原因是 第三个字段长度8小于前面的小字段长度10，将8改为10则能正常运行。 ...
impala高级设置set之APPX_COUNT_DISTINCT
cclovezbf的博客
07-11 371
impala高级设置 系统调优set参数学习
impala group_concat函数里面去重排序
最新发布
06-28
Impala是一种高性能、低延迟的SQL查询引擎，它支持使用group_concat函数来将多条记录合并成一条记录。如果需要去重并对结果进行排序，可以使用Impala内置的distinct和order by子句。 distinct关键字可以用来去重，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路边草随风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值