HyperLogLog更精准的概率优化

最新推荐文章于 2023-12-27 17:52:56 发布
最新推荐文章于 2023-12-27 17:52:56 发布
阅读量403 收藏
点赞数
分类专栏： 图床 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012150168/article/details/105398030
版权

 

byteRun
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HyperLogLog:HyperLogLog 算法的 PHP 实现。 基于 AntirezRedis 实现
06-26
HyperLogLog 和 MinHash HyperLogLog 算法的 PHP 实现。 资源 笔记！ 此版本已调整为 P 值为 14。这是一个寄存器大小为 2^14 字节 = 16KB 在下图中可以看到一个很大的偏差，当集合基数达到 2^P * 2.5 左右时开始。 多项式回归已用于计算偏差偏移，但仅适用于 P = 14。您可以自由更改 P 值，但不会应用偏差偏移。 一些专业的图表 ####HyperLogLog P=14 P=16注意 2.5 * 2^16 ~= 165,000 附近的偏移偏差 P=20注意 2.5 * 2^20 ~= 2,600,000 附近的偏移偏差 ####MinHash K=8192
概率统计、数值优化算法
公众号：瑞行AI
10-02 2318
概率统计： 样本空间：一个随机试验（或随机事件）所有可能结果的集合 样本点：随机试验中的每个可能结果 随机变量：本质上是一个实值函数映射，即为每一个实验的结果映射为一个数值。注意区别“随机变量”的定义与“随机变量取值的概率”的定义. Eg:在抛一枚均匀的硬币过程中，将正面映射为1，反面映射为0，则随机变量X的定义为X(正面)=1，X(反面)=0。此
OR青年 | 分布鲁棒优化研究报告
weixin_53463894的博客
02-07 5683
鲁棒优化、广义矩信息模糊集、𝜙散度模糊集合
概率统计与机器学习：机器学习的各类型最优化方法
Kelisiya
09-14 861
机器学习的最优化方法
贝叶斯优化: 事件与概率在机器学习中的新方法
最新发布
禅与计算机程序设计艺术
12-27 362
1.背景介绍 贝叶斯优化(Bayesian Optimization，BO)是一种通过最小化不确定性来优化黑盒函数的方法。它主要应用于机器学习中，以找到最佳的超参数设置、模型选择和算法优化。贝叶斯优化结合了贝叶斯定理和全局优化方法，通过构建概率模型来描述不确定性，并利用梯度下降、随机搜索等方法来最小化不确定性。 贝叶斯优化的核心思想是通过构建一个概率模型来描述函数的不确定性，并利用这个模型来指...
HyperLogLog_hyperloglog算法_hyperloglog_
09-28
HyperLogLog是一种概率数据结构，用于近似估算大型无重复数据集（基数）的大小。在大数据处理中，精确计算基数可能需要大量内存，而HyperLogLog则通过牺牲一定的精度来换取极低的内存占用，这使得它在处理海量数据时...
wyhll:基于2位HyperLogLog的梦想精确近似集基数估计器。 比Redis HyperLogLog更准确，更快
03-13
本文将深入探讨一种基于2位HyperLogLog的优化版本——wyhll，它由王翼提出，相比Redis的HyperLogLog，具有更高的精度和更快的速度。 HyperLogLog算法的核心思想是使用概率统计方法来估算集合的基数。它通过哈希函数...
cpp-完整HyperLogLog实现
08-15
HyperLogLog 是一种概率统计算法，用于估算大数据集中唯一元素的数量。它以较低的空间复杂度提供了高精度的近似计数，特别适用于处理大规模数据。这个压缩包文件 "cpp-完整HyperLogLog实现" 提供了一个用D语言编写的...
开源项目-axiomhq-hyperloglog.zip
09-03
总结，AxiomHQ的HyperLogLog项目提供了一个高效、节省空间的基数估算解决方案，它的优化设计使其在实际应用中更具竞争力。无论是对于开发者还是数据分析师，理解和掌握这一工具都将极大地提升他们在大数据处理上的...
开源项目-seiflotfy-sliding-hyperloglog.zip
09-03
为了解决这一挑战，Seiflotfy开发了一个开源项目——Sliding-HyperLogLog，它是一种改进版的HyperLogLog算法，旨在提供更精确的近似计数方法，并具有滑动窗口功能，适用于实时数据分析场景。 HyperLogLog是一种概率...
比bitmap节省近1000倍内存的数据结构算法——HyperLoglog
m0_38041658的博客
05-08 417
比bitmap节省近1000倍内存的数据结构/算法——HyperLoglog
大数据下的高级算法：hyperloglog,统计海量数据下不同元素的个数
tyler_download的专栏
01-20 1824
redis中hyperloglog算法和数据结构的原理
Redis HyperLogLog底层实现和Redis 7.0特性主从复制优化
qq_44027353的博客
03-28 897
剩余的50位的数据就决定往桶中放入什么内容，从第14位开始往前数，找到第一个为1的比特位数，比如17位是1，那么就是从第14位开始往前数第3位是1，然后把这个3转换为二进制数存入桶中，相当于就是存了一个K。将原来一整大块内存拆分为了很多小块内存(Block)，使用链表的结构将多个block连接起来，每个block中还维护了一个变量refcount用来表示从库引用计数，各个从库的复制缓冲区都是读取的一块内存，只是移动指针表示各个从库读取到了哪一个位置。它是有误差的，误差在0.81%。，不是采用的算术平均数。
java Hyper LogLog_hyperloglog的java版使用
weixin_31684041的博客
02-13 458
序对于海量数据来说，数据内存占用会变得很高. Probabilistic数据结构牺牲了一下准确率去换取更低内存占用。比如一个HyperLogLog的数据结构只需要花费12KB内存，就可以计算接近2^64个不同元素的基数，而错误率在1.625%.场景HyperLogLog一个常用的场景就是统计网站的UV。基数简单来说，基数(cardinality，也译作势)，是指一个集合(这里的集合允许存在重复元素...
Hyperloglog应用、原理和性能分析
m0_37558251的博客
04-10 3768
1.应用 Hyperloglog提供不精确的去重计数方案，如统计一个网站的UV(独立访客数)，同一个用户一天之内的多次请求只能计数一次，如果使用set集合来统计的话，会非常浪费存储空间。 虽然不精确但是也不是非常不精确，标准误差是0.81%。 2.原理 1.抛硬币问题 设想一个抛硬币的问题，假如你抛了很多次硬币，最多出现了两次连续的反面，我敢打赌你抛硬币的总次数不会太多，相反，如果你和我...
详解 impala的ndv()函数 原理（HyperLogLog (HLL)）、使用方法、精度误差及替换方案
samur2的博客
02-15 2549
背景 最近使用impala做查询的时候，遇到一个sql 中使用多个列 count(distinct) 查询导致报错的情况，报错内容如下： org.apache.hive.service.cli.HiveSQLException: AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as count(DISTINCT ); deviating function: count(DI
Redis学习三：HyperLogLog
weixin_43675226的博客
11-11 1524
系列文章目录 文章目录系列文章目录一、HyperLogLog是什么？二、HyperLogLog应用场景三、Redis中使用HyperLogLog3.1 PFADD3.2 PFCOUNT3.3 PFMERGE3.4 测试demo总结 一、HyperLogLog是什么？ HyperLogLog并不是一种新的数据结构（实际类型为字符串类 型），而是一种基数估算算法。所谓基数估算，就是估算在一批数据中，不重复元素的个数有多少。通过HyperLogLog可以利用极小的内存空间完成独立总数的统计，数据集可以是IP、E
python redis 性能测试_针对redis的HyperLogLog做基数统计性能测试
weixin_39943547的博客
11-28 196
Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，他不仅能做去重处理，更主要的是在海量的元素下，占用的内存空间要比redis集合要少的多，我后面有测试的结果……在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。但是，因...
redis数据结构及应用举例三之HyperLogLog
lonely_baby的博客
02-23 226
HyperLogLog算法的计数精度取决于哈希函数和子集划分的数量，如果哈希函数的分布比较均匀，并且子集的数量足够大，那么HyperLogLog的计数精度可以达到比较高的水平。HyperLogLog算法的基本思路是通过哈希函数将每个元素映射到一个指定的区间内，然后统计区间内不同元素的数量，从而得到集合中不同元素的数量。在统计过程中，为了降低内存的占用量，HyperLogLog采用了随机化采样的方式，将集合划分为多个子集，每个子集进行单独的统计，最后对所有子集的计数结果进行加权平均，得到最终的统计结果。
hyperloglog
09-08
HyperLogLog是一种概率性数据结构，主要用于进行基数（distinct count）的近似计数。它可以用来统计集合中元素的数量，而不需要存储每个元素本身。 HyperLogLog的原理是通过一定的算法和数据结构，在较小的内存占用下，对大数据集的基数进行近似计数。在实际应用中，HyperLogLog通常与Redis等数据存储系统配合使用。 HyperLogLog的使用语法主要包括pfadd和pfcount两个命令。pfadd用于添加数据到HyperLogLog中，而pfcount用于对HyperLogLog进行基数的统计。虽然算法比较复杂，但是使用起来相对容易掌握。 在HyperLogLog中，使用pfadd命令添加数据时，并不会一次性分配大量内存，而是随着基数的增加逐渐增加内存分配。而pfmerge命令用于将不同的HyperLogLog合并到一个12k大小的key中。这是因为在HyperLogLog的合并操作中，需要单独比较每个桶的值。 HyperLogLog算法最初是为了处理大数据量的统计而被发明的。因此，它非常适合那些对精确度要求不高，但对性能和存储空间要求较高的场景。虽然HyperLogLog提供的计数是近似的，但标准误差只有0.81%。因此，在页面用户访问量较大且对计数的准确度要求不高的情况下，可以使用HyperLogLog进行基数的近似计数，既能节省存储空间，又能保证较好的性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值