redis求基数的常用方法分析【Crasheye实战经验分享】

最新推荐文章于 2024-04-21 11:54:15 发布

crasheye

最新推荐文章于 2024-04-21 11:54:15 发布

阅读量1.9k

点赞数

文章标签： crasheye crash监控 redis 移动崩溃分析 app崩溃

本文链接：https://blog.csdn.net/crasheye/article/details/51323024

版权

本文介绍了Crasheye在数据统计中遇到的挑战，重点探讨了Redis的三种基数统计方法：Set、Bitmap和HyperLogLog。通过对比它们在所耗容量、统计准确度和时间复杂度方面的表现，得出在大数据量实时统计时需要权衡计算性能、精度和存储容量的结论。

摘要由CSDN通过智能技术生成

数据统计的各个指标计算，简单的讲，就是求不同纬度数据的最大、最小、叠加、去重的过程。

Crasheye数据统计基本介绍

目前Crasheye的崩溃统计报表基本为复合维度统计，而多维度统计的复杂度要远远高于单维度的运算，无论是在RDB还是NoSQL，瓶颈都会落在IO上面，造成IO瓶颈的根源很大部分来自于数据维度的划分与聚合，特别是对于去重统计类型的数据。

Crasheye的Crash监控统计数据，就有多维度去重统计的多个数据指标，这种需要实时显示的去重指标统计，对后台的设计实现都是一种挑战。

先看一部分crasheye的单一时间下的基本统计维度：

维度	APP	APP版本	SDK版本	渠道	操作系统类型	操作系统版本	宕机	设备型号	网络环境
APP
APP版本
SDK版本
渠道
操作系统类型
操作系统版本
宕机

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

crasheye

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Java中Redis常用的20个方法

weixin_44976692的博客

01-13

2万+

通过本文的介绍，我们深入了解了Java中Redis的20个常用方法。这些方法涵盖了Redis的基本操作、数据结构的使用以及高级特性的应用。在实际项目中，合理利用这些方法将极大地提升程序的性能和效率。希望大家能够充分利用Redis在Java开发中的优势，提升自己的编码水平。欢迎来到本篇博客，今天我们将探讨Java中Redis的常用方法。作为一种强大的缓存和数据存储工具，Redis在Java应用中扮演着重要的角色。我们将介绍20个常用的Redis方法，希望对大家在Java开发中更好地使用Redis提供帮助。

〖Python 数据库开发实战 - Redis篇⑤〗- Redis 的常用配置参数

热门推荐

易编橙 · 终身成长社群，相遇已是上上签！

09-13

4万+

该章节我们来了解一下 Redis 数据库的一些重要配置参数。因为现在运行的是单节点的 Redis 数据库，并没有组建 Redis 集群，所以有关集群的配置参数在该章节并不会介绍到。接下来我们就看一看，单节点的 Redis 数据库都有那些重要的配置参数。

参与评论您还未登录，请先登录后发表或查看评论

Redis 学习笔记（十一）基数统计(HyperLogLog)

men_wen的博客

04-11

5375

Redis 学习笔记（十一）基数统计(HyperLogLog)1. 介绍HyperLogLog命令是redis在2.8版本中加入的，Redis中HyperLogLog是用来做基数统计的。HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的，因此每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2642^{64}

Redis 09 基数

天河有尽后为涯，星海无边前作岸。

05-24

188

Redis 在2.8.9版本添加了 HyperLogLog 结构，用来做基数统计的算法其优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的，并且是很小的。每个 HyperLogLog 键只需要花费12 KB内存，就可以计算接近2 ^ 64个不同元素的基数。HyperLogLog 是一种算法，它提供了不精确的去重计数方案。基数比如数据集 {1, 3, 5, 7, 5, 7, 8}，那么这个数据集的基数集为 {1, 3, 5 ,7, 8}，基数(不重复元素)为 5。基数估计。

Redis从入门到入坟系列文章（七）：基数统计算法

qq_34804559的博客

08-19

393

今天来了解下Redis的基数统计算法结构HyperLogLog。HyperLogLog结构是Redis在在 2.8.9 版本新增加的。 HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储.

Spring中使用Redis之基数(HyperLogLog)类型

weixin_42146366的博客

04-25

448

一、Redis基数(HyperLogLog)简介基数是一种算法，基数并表示存储元素，存储元素小号内存空间比较大，而是某一个有重复元素的数据的集合（一般是很大的数据集合）评估所需要的空间单元数，所以它没有办法进行存储。举个例子，一本英文著作由数百万个单词组成你的内存却不足以存储它们，那么我们分析一下业务。英文单词本身数有限的，在这本书中的几百万个单词中有许多重复的单词，除去重复的单词，这本书也就是...

Redis-08Redis数据结构--基数HyperLogLog

小工匠

09-27

1万+

文章目录概述Redis 的 Hyperloglog 命令Spring 中操作基数注意代码概述基数是一种算法。举个例子，一本英文著作由数百万个单词组成，你的内存却不足以存储它们，那么我们先分析一下业务。英文单词本身是有限的，在这本书的几百万个单词中有许许多多重复单词，扣去重复的单词，这本书中也就是几千到一万多个单词而己，那么内存就足够存储它们了。比如数字集合｛1,2,5,7,9, 1,...

〖Python 数据库开发实战 - Redis篇⑪〗- Redis数据结构 - 常用的KEY命令

易编橙 · 终身成长社群，相遇已是上上签！

09-20

3万+

在前面章节我们学习完了 redis 的五种数据类型，接下来将学习一下 redis 操作 KEY 的一些命令。

Redis 入门和 RedisTemplate 常用方法（常用命令 + 案例源码）

zzvar的博客

06-30

4513

Redis 入门内容一、Redis 概念二、Redis 优缺点1. 优点2. 缺点三、应用场景四、Redis 安装五、常用命令1. Redis 字符串(String)1.1 概念1.2 常用命令2. Redis 哈希(Hash)2.1 概念2.2 常用命令3. Redis 列表(List)3.1 概念3.2 常用命令4. Redis 集合(Set)4.1 概念4.2 常用命令5. Redis 有序集合(sorted set)5.1 概念5.2 常用命令六、Redis 进阶1. 全局命令2. Redis 安全

Redis教程——数据类型（基数统计、地理空间、位域）

最新发布

霖hero

04-21

1099

在上篇文章中我们学习了Redis教程——数据类型（有序集合、位图），这篇文章学习Redis教程——数据类型（基数统计、地理空间、位域）。

redis：基数计数HyperLogLog

OceanStar的博客

10-11

389

引入场景如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站每个网页每天的UV数据，然后让你来开发这个统计模块，你会如何实现？如果是统计PV那是非常好办，给每个网页一个独立的Redis计数器就可以了，这个计数器的key后缀加上当前的日期，这样来一个请求，incrby一次，最终就可以统计出所有的PV数据但是UV不一样，它要去重，同一个用户一天之内的多次访问请求之内计数一次。这就就要求每一个网页请求都需要带上用户的ID，无论是登录用户还是未登录用户都需要一个唯一的ID来表示也许你已经想到了一

Redis hyperloglog基数统计

weixin_47556601的博客

03-21

817

大家好，今天分享Redis hyperloglog基数统计它的好处在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。看这个数据集 {1, 3, 5, 7, 5, 7, 8}，那么它的基数集合就是 {1, 3, 5 ,7, 8},所谓的基数（就是不重复的元素=5） hyperloglog基数统计是在Redis-2.8.9就有了这种数据结构实例，一个人访问网站多重就算它一个人由传统的方式： set 保存用户信息，就可以统计set 中的数据作为标准判断，

PAT Radix(二分法求基数)

qq_30339595的博客

03-09

339

1010. Radix (25)时间限制400 ms内存限制65536 kB代码长度限制16000 B判题程序Standard作者CHEN, YueGiven a pair of positive integers, for example, 6 and 110, can this equation 6 = 110 be true? The answer is "yes", if 6 is a d...

Redis基础篇之Hyperloglog基数统计

u014381566的博客

08-18

########Redis基础篇之Hyperloglog基数统计 1. pfadd pkey a b c d e f //插入元素 2. pfcount pkey //返回元素个数 3. pfmerge pkey2 pkey1 pkey //返回一个并集

Redis HyperLogLog 基数计算

潘广宇的博客

04-01

866

Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。因为HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身。一、什么是基数统计...

Cardinality Estimation算法学习（一）（了解基数计算的基本概念及回顾求字符串中不重复元素的个数的问题）...

weixin_30520015的博客

12-10

171

　　最近在菜鸟教程上自学redis。看到Redis HyperLogLog的时候，对“基数”以及其它一些没接触过（或者是忘了）的东西产生了好奇。　　于是就去搜了“HyperLogLog”，从而引出了Cardinality Estimation算法，以及学习它时参考的一些文章：　　http://blog.codinglabs.org/articles/algorithms-for-cardi...

Redis 基础 -- HyperLogLog概率算法（计算集合的近似基数）和HyperLogLog的常用命令

天行健君子以自强不息，地势坤君子以厚德载物。

05-04

876

HyperLogLog是一个专门为了计算集合的基数而创建的概率算法，对于一个给定的集合，HyperLogLog可以计算出这个集合的近似基数：近似基数并非集合的实际基数，它可能会比实际的基数小一点或者大一点，但是估算基数和实际基数之间的误差会处于一个合理的范围之内，因此那些不需要知道实际基数或者因为条件限制而无法计算出实际基数的程序就可以把这个近似基数当作集合的基数来使用。 HyperLogLog的优点在于它计算近似基数所需的内存并不会因为集合的大小而改变。

ue4 android 插件,【填坑】Crasheye & UE4 Plugin

weixin_36191781的博客

05-26

512

游戏开启技术测试前，还总有那么一些崩溃问题不好排查，“逼不得已”才抽出时间来接入Crasheye，用以收集崩溃信息。现在有不少收集崩溃的平台，但感觉对UE4的支持都很弱，Crasheye的UE4 Plugin也是刚推出不久，即使在Test+官方的Crasheye产品页上都没有提及这个插件，建应用的过程中也只展示了Unity，只能在SDK下载中能看见UE4插件的身影。我也是通过UE4收集崩溃日志这篇...

PHP Redis常用操作实例与验证方法

本文档详细介绍了PHP中与Redis进行交互的常用操作方法，涵盖了Redis客户端连接、数据存储与检索、删除键值、原子性操作以及数值递增和递减等功能。首先，我们通过`connect`函数连接到本地Redis服务器，例如使用`$...