bitmap去重udf、udaf代码解析

最新推荐文章于 2023-10-26 16:10:33 发布
最新推荐文章于 2023-10-26 16:10:33 发布
阅读量533 收藏
点赞数
分类专栏： 数据仓库 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011624157/article/details/124595119
版权
本文主要分析了如何利用Bitmap进行去重操作，特别是将long型数据转换为Bitmap的UDF和UDAF代码。通过调用RBM的add方法将long数据添加到RBM中，最终转化为二进制数组来实现数据的去重功能。
摘要由CSDN通过智能技术生成

toBitmap代码分析

要想使用bitmap做去重，第一步是要将long型数据转换成bitmap,这个功能可以实现为udf，也是以是udaf，下面是udaf版本代码分析
代码的大概含义就是调用rbm中的add方法，不停的将long数据添加到rbm中，然后将rbm转换成为二进制数组输出

public class ToDorisBitmapUDAF extends AbstractGenericUDAFResolver{
   

    //判断
    @Override
    public GenericUDAFEvaluator getEvaluator(TypeInfo[] info
了解本专栏 订阅专栏 解锁全文 超级会员免费看
左林右李02
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
SparkSQL自定义bitmap udf操作函数
qq_27639777的博客
11-30 2625
文章目录简介源码实现SparkSQL使用示例 简介 Bitmap是用来实现基数统计的一种常用方法，它可以实现精确的基数统计。为了提高bitmap对稀疏位图的压缩率，提出了RoaringBitmap（RBM）对稀疏位图进行压缩，减少了内存占用并提高了使用效率。 在Java中实现RBM的常用库是RoaringBitmap，其已经在Spark、Kylin和Druid等系统中得到了应用。那是不是可以将RoaringBitmap库封装成SparkSQL的udf函数，从而可以对bitmap结构数据进行方便的计算操作，实
SparkSQL用UDAF实现Bitmap函数
大数据星球-浪尖
04-22 880
创建测试表使用phoenix在HBase中创建测试表，字段使用VARBINARY类型CREATE TABLE IF NOT EXISTS test_binary ( date VARCHA...
sparkSQL自定义聚合函数（UDAF）实现bitmap函数
遥望......
02-07 2637
创建测试表 使用phoenix在HBase中创建测试表，字段使用VARBINARY类型 CREATE TABLE IF NOT EXISTS test_binary ( date VARCHAR NOT NULL, dist_mem VARBINARY  CONSTRAINT test_binary_pk PRIMARY KEY (date)  ) SALT_BUCKETS=6;  创建完成后使...
java 2 bitmap_java相关：高级数据结构及应用之使用bitmap进行字符串去重的方法实例...
weixin_39746241的博客
03-03 263
java相关：高级数据结构及应用之使用bitmap进行字符串去重的方法实例发布于 2020-8-1|复制链接分享一篇关于关于高级数据结构及应用之使用bitmap进行字符串去重的方法实例，小妖觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小妖来看看吧bitmap 即为由单个元素为 boolean(0/1, 0 表示未出现，1 表示已经出现过)的数组。如果C/C++ 没有原生...
高级数据结构及应用之使用bitmap进行字符串去重的方法实例
08-26
今天小编就为大家分享一篇关于高级数据结构及应用之使用bitmap进行字符串去重的方法实例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
Bitmap海量数据快速查找去重代码示例
01-20
我们可以用bitmap来解决，bitmap基本思想是一位表示一个整数，比如我们有6个数据： 1 7 3 1 5 6 4 假设bitmap容量为8，当插入7时 bit[7]=1，以此类推 bit[3]=1 bit[1]=1 bit[5]=1 …… bit[4]=1 这样我们查询5，...
海量数据去重排序bitmap(位图法)在java中实现的两种方法
08-26
海量数据去重排序bitmap(位图法)在java中实现的两种方法 海量数据去重排序是指在大量数据中找到重复出现的元素或去除重复出现的元素，这种问题在面试中经常被考察。针对这种问题，一种常用的解决方法是使用位图法。...
C语言实现的bitmap位图代码分享
01-20
事实上,我们是用每一个 元素表示一个32位的二进制字符串,这样这个元素可以保留相邻32个号码是否存在的信息,数组范围就下降到10000000/32了.例如对于号码 89256,由于...int bitmap[1 + N / WORD]; /* * 置位函数——用
java代码-bitmap图片
07-14
在这个主题中，我们将深入探讨如何使用Java代码操作Bitmap，以及Bitmap在实际项目中的应用。 首先，我们从加载Bitmap开始。在Android中，通常使用` BitmapFactory `类来从资源或文件路径加载Bitmap。` ...
RoaringBitmap数据结构以及精确去重UDAF实现
qq_35671159的博客
05-06 1758
一、位图(Bitmap) 1、什么是比特(bit) 1）它是英文 binary digit 的缩写 2）它是计算机内部存储的最小单位，用二进制的0或者1来表示 3）1 Byte = 8 bit；1024 Byte = 1 Kb；1024 Kb = 1 Mb；1024 Mb = 1 Gb；1024 Gb = 1 Tb 2、引子 给出40亿个连续不重复且无序的无符号int型整数，目前条件是只有一个2G内存的PC，需要判断出某个数字是否在给出的这40亿个数字里面 ...
SPARK SQL中自定义udf，udaf函数统计uv（使用bitmap）
最新发布
qq_30868737的博客
10-26 461
在实际工作中统计uv时，一般会使用count(distinct userId)的方式去统计人数，但这样效率不高，假设你是统计多个维度的数据，当某天你想要上卷维度，此时又需要从原始层开始统计，如果数据量大的时候将会耗费很多时间，此时便可以使用最细粒度的聚合结果进行上卷统计，即需要自定义聚合函数进行统计，将bitmap序列化为一个字节数组。1）一次聚合/***/// 构造一个空的bitmap// 将bitmap序列化为字节数组// 将buff反序列化为bitmap/***//**
自定义Hive UDAF 实现相邻去重
Arthas1820的博客
09-10 141
内置的两个聚合函数（UDAF） collect_list()：多行字符串拼接为一行collect_set()：多行字符串拼接为一行并去重多行字符串拼接为一行并相邻去重UDAF：Concat() concat_udaf.jar package com.tcc.udaf; import org.apache.hadoop.hive.ql.exec.UDAF;import org.ap...
提高去重计数效率——代理键+bitmap去重
u011624157的专栏
12-20 622
提高去重计数效率——代理键+bitmap去重背景方案介绍详细实现附：代理键名词解释代理键何时使用代理键 背景 现实场景中经常会遇到字符串字段去重计数的场景，常见方式如下： 最简单的是count(distinct)，性能最差，不推荐 group by 后count(1)，充分利用分布式并行计算的优点，但是容易遇到数据倾斜，总体上是推荐 除了以上两种方式，还可以借助rbm进行去重计数，接下来介绍代理键+rbm的方法 方案介绍 rbm是bitset的优化，把long型变量分为高32位和低32位分别存放，高32
BitMap数据结构梳理总结及代码实现
u014614478的博客
12-11 2161
BitMap(位图) BitMap定义 位图（BitMap），即位（Bit）的集合，是一个离散的数组结构，用一个bit位来标记某个元素对应的Value，而Key即是该元素;最基本的情况，使用一个bit表示一个关键字的状态（可标示两种状态0-不存在，1-存在），也可以使用2bit（表示4种状态），3bit（表示8种状态）需要根据业务场景实现。 BitMap 数据结构 数据结构：byte[]，一个byte 8 bit,使用bit为单位来存储数据，可以在空间和时间双重维度提高效率。 注：也可以是 int
hive UDF
热门推荐
yfk的专栏
01-21 5万+
HIVE允许用户使用UDF（user defined function）对数据进行处理。 用户可以使用‘show functions’ 查看function list，可以使用'describe function function-name'查看函数说明。 hive> show functions; OK ! != ...... Time taken: 0.275 seconds hive>
Java社招面经分享！java栈深度
qq194582923的博客
07-08 433
第一个：Alibaba[搜索推荐] 一面：算法题:长度为n的数组里放了n+1个大小在[1,n]的数，必然至少有一个重复的数，找出来 二面：概率题：求一根绳子被切两刀能组成一个三角形的概率。 三面主管面：FM推导，deepfm原理，graph embedding，问了之前的一些项目。 四面交叉面：模型上线时应该注意的事，如果请求过高模型服务挂了怎么办，tensorflow和torch的区别，如何降低模型复杂度。 第二个：百度 原生商业推广部 一面：算法题：快排非递归，旋转有序数组找某个值 二面：算法题：
Long与字节 的转换
wangzhantao的专栏
12-29 1661
  Long为8个字节，每个字节是8位，则其长度为64位 。 字节为单字节，长度为8位。   1 在内存中如果一个长整形的数字，强制转换为字节，则会舍弃掉高56位，保留低8位数字。 2 如果一个字节转换为一个长整形，需要补充高56位，因为java是补码表示形式，补充的56位全都是1，使最终的数据错误 3 如何解决高位补充导致的数据错误，则需要把高56位数变成0即可，所以采用“与0x...
RoaringBitMap学习和实践
南风知我意
08-11 985
1.RoaringBitMap学习和实践 2.Spark海量数据count(distinct)优化
Apache Doris 基于 Bitmap的精确去重和用户行为分析
u011250186的博客
11-03 1589
https://zhuanlan.zhihu.com/p/386879362
clickhouse bitmap去重
09-26
ClickHouse的bitmap函数主要用于去重和统计数量。通过使用bitmap函数，可以对bitmap字段对象进行去重操作，从而得到去重后的数量。在ClickHouse中，可以使用groupBitmap函数来实现对bitmap字段对象的聚合和统计操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

左林右李02

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值