spark-alchemy中的HyperLogLog功能使用实践

最新推荐文章于 2024-06-02 10:03:30 发布
最新推荐文章于 2024-06-02 10:03:30 发布
阅读量724 收藏 2
点赞数 1
分类专栏： spark 文章标签： spark-alchemy spark hyperloglog HLL uv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27639777/article/details/110110077
版权
本文介绍了如何在Spark中利用Spark-Alchemy的HyperLogLog功能进行UV计算。通过预先聚合减少数据量，提高分析效率。详细步骤包括添加maven依赖、准备测试数据、创建Hive表存储中间结果、SparkSQL写入和读取数据，并展示如何进行再聚合计算。
摘要由CSDN通过智能技术生成

文章目录

简介

利用HyperLogLog算法计算UV类指标是一种常用的方案。在spark中的approx_count_distinct函数就是基于HyperLogLog实现的，但其每次都需要从原始明细的数据进行计算，无法从中间结果进行再聚合。预先聚合是一种常用高性能分析的手段，可以极大地减少数据量。由于Spark没有提供相应功能，Swoop 开源了高性能的HLL native函数工具包，作为 spark-alchemy 项目的一部分，具体使用示例可以参考 HLL docs。spark-alchemy中的HLL sketch结构是可再聚合的，可以将其存储下来，通过预聚合大幅减少了要处理的数据量。

添加maven包依赖

在项目pom中添加maven包依赖：

<!-- https://mvnrepository.com/artifact/com.swoop/spark-alchemy --
最低0.47元/天 解锁文章
涛声依旧（竞涛）
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
华为OD机试 - 计算最接近的数（C语言）
qq_34143141的博客
10-26 99
其中 x[i] * 2 的原因是，新滑窗中x[i]是正的，而旧滑窗中x[i]是负的，为了将-x[i] 变为 +x[i]， 则需要为 -x[i] + x[i] * 2。其中，数组中位数：长度为N的数组，按照元素的值大小升序排列后，下标为 N/2 元素的值。然后，求解window和数组x中位数mid的差距，差距绝对值越小，则说明二者越接近。结果最接近于数组中位数的下标 i ，如果有多个 i 满足条件，请返回最大的 i.结果最接近于数组中位数的下标 i ，如果有多个 i 满足条件，请返回最大的 i.
spark-alchemy：开源Spark工具和框架的集合，这些工具和框架使Swoop的数据工程和数据科学团队高效工作
02-05
spark-alchemy：开源Spark工具和框架的集合，这些工具和框架使Swoop的数据工程和数据科学团队高效工作
探索大数据的魔法：Spark Alchemy深度剖析与应用
最新发布
gitblog_00045的博客
06-02 561
探索大数据的魔法：Spark Alchemy深度剖析与应用 项目地址:https://gitcode.com/swoop-inc/spark-alchemy 在大数据处理的浩瀚宇宙中，有一颗璀璨的新星——Spark Alchemy，这是来自Swoop的数据工程师和数据科学家们的智慧结晶。今天，我们就来深入探讨这一开源神器，看看它如何以强大的功能帮助我们在PB级别的数据环境中自如遨游。 项目介绍 S...
从一个集合中找出某个数最相近的数字
weixin_45799178的博客
12-20 3355
/** * 获取集合中最接近的数 * @param number 需要查找的数字 * @param numbers 数字集合 * @param flag 如果有两个相近的数据 true:选择大数 false:选择小数 * @param <T> 必须为数字类型 * @return 相近结果 */ public <T extends Number> T getSimilarNumber
c语言lookup用法,Vlookup函数最经典的12种用法 果断收藏！
weixin_34800976的博客
05-22 1383
Vlookup函数的教程网上已非常多了，而贴近工作用的Vlookup函数应用示例却很少。今天给大家带来一期Vlookup函数示例大全，希望能给大家的工作带来帮助。【例1】查找个人信息=VLOOKUP($B18,$C$7:$H$15,COLUMN(B1),0)注：Colum(b1)的结果是2，当公式向右复制时可以生成3，4，5，..【例2】合并两个表格F2单元格公式=VLOOKUP(B2,$B$14...
C语言：生成一个4*4数组，并找出与一个指定数字最相近的元素的值以及所在位置
Caleb Sung的博客
04-16 4269
题目来源：大工慕课 链接 作者：Caleb Sung 题目要求 使用两重循环为一个4X4的二维数组赋值，形如{{11，12，13，14}，{21，22，23，24}，{31，32，33，34}，{41，42，43，44}}，然后从键盘输入一个整数，输出与该整数最接近的元素，及其所在的行和列。 提示 math.h这个头文件有abs()方法可用于求绝对值。 要记得用变量储存过程...
HyperLogLog函数在Spark中的高级应用
微信搜：import_bigdata，大数据领域硬核原创作者
01-07 476
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计...
es-alchemy：Elasticsearch交互的简化
02-13
使用ES-Alchemy查询语法构建查询 针对Elasticsearch运行查询 将结果映射到带有分页信息的简化表示 模型和索引定义 楷模 模型定义包含模型的字段及其类型。 它们限制了索引的组合方式。 示例： address.json { " ...
eslint-config-alchemy:eslint配置
05-16
eslint-config-alchemy 前端编码规范 错误规避 ES6 Node.js & Common 最佳实践 严格模式 代码风格 变量声明 React 规则 import JSX 使用 package.json 中添加依赖： "eslint": "^4.2.0", "eslint-config-alchemy": ...
sql-alchemy:使用sql-alchemy进行气候分析的仓库
04-02
不要将此作业添加到现有存储库中。 将新的存储库克隆到您的计算机。 将您的Jupyter笔记本和app.py添加到此文件夹。 这些将是运行以进行分析的主要脚本。 将以上更改推送到GitHub或GitLab。 恭喜你！ 您已决定在...
wtforms-alchemy:从sqlalchemy模型创建wtforms的工具
05-27
WTForms 是一个强大的表单处理库，而 SQLAlchemy 则是 Python 中广泛使用的对象关系映射（ORM）框架，用于数据库操作。通过结合这两者，WTForms-Alchemy 提供了在 Web 开发中高效管理动态表单的能力。 **一、...
c语言简单算法——求一个数组中与设定值最接近的三个数的和
z20050018的博客
11-22 441
int close(int x[], int y,int t)//传参时最好将数组长度（t）一起传过来，因为形参为指针，长度固定为4{if (p < q||f==1)//绝对值的比较。//取绝对值最小的数。if (q < 0)//取绝对值。p = y - s;简单思路：求所有三个数的和与设定值的差的绝对值，找出最小值。
查找和目标数最接近的或者相等的数
fayeyiwang的专栏
04-13 2272
此文转自博客http://blog.csdn.net/huoyunshen88/article/details/8567970， 自己学习标记下，感谢博主。 /**  * 查找出最接近目标值的数，并返回。  * @param array  * @param targetNum  * @return  */ [html] view plain copy
c语言取余规则_牛客C语言基础题目过关4
weixin_39857792的博客
11-22 476
题目1：箱子归位其实就是求箱子坐标跟中心点坐标(2，2)(因为我把左上角当做 0,0)的横纵坐标差值的绝对值之和。比如(4,4)跟(2,2)，得到的就是4。我想怎么做：横纵坐标范围都是固定的。中心也是确定的。不确定的只有箱子所在的位置。我从第一行第一个开始判断对应的值是否为1(因为1代表箱子啊，我找到1我就知道箱子坐标了)，这行没有就下一行，如此循环。找到了之后，因为要的是横纵差绝对...
输出某一个数跟一个数组里面最接近的一个数
cui_hope的博客
07-23 392
输出某一个数跟一个数组里面最接近的一个数 function findCloseNum(arr, num) { let index = 0; let Dvalue = Number.MAX_VALUE; arr.map((item,inx) => { const newvalue = Math.abs(arr[inx] - num); if (newvalue <= Dvalue) { index = inx; Dvalue = newvalue; }; return arr[index] })
（每日一练c语言）目标值与数组所有元素去比对，找出最接近的元素，输出下标
biyesheji1000的专栏
02-18 1010
目标值与数组所有元素去比对，找出最接近的元素，输出下标 举例如下：一个数组{915,941,960,976,992,1015,1034,1050,1073,1089,1115,1131,1150,1166,1182,1208,1227};目标值假设是1000，最接近元素为992，下标为4 以下程序实现了这一功能，请你填补空白处内容： #include <stdio.h> int main() { int min = (1 << 31) - 1; int idx
最接近的数，二分法
c++短期爱好者
10-08 642
#include&lt;iostream&gt; #include&lt;cmath&gt; #define INF 999999999 using namespace std; int n,m,a[110000]; int main() {     int i;     cin&gt;&gt;n;     for( i=1;i&lt;=n;i++) cin&gt;&gt;a[i];     ci...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值