使用位图存储亿级QQ号

最新推荐文章于 2025-03-04 17:18:20 发布
最新推荐文章于 2025-03-04 17:18:20 发布
阅读量1.1k 收藏
点赞数
分类专栏： 算法 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a13602955218/article/details/104958280
版权

https://blog.csdn.net/hpugym/article/details/80008946

利用bitmap处理海量数据问题：43亿QQ号所占内存大小为什么是512M？40亿个QQ号如何去重？
梦~'
09-09 1417
1. QQ号理论上的范围为：10001 - 43亿（2³²），其类型为 `unsigned int` 2. 43亿QQ号所占内存大小，经计算后大约占 **512M** （满足小于1G的要求） 3. 40亿QQ号所占内存大小，经计算后大约占 **477M** （满足小于1G的要求） 4. bitMap实现方案 及 异或 **^** 等位运算 5. 利用 **bitMap** 来处理海量数据问题，内存占用低，满足要求且可以取得不错的效果。包括：排序、中位数、topK、去重 等等...
位图和TOP（K）解法
yanchenzhi的博客
03-23 590
之前在面试的被问到过10亿QQ号的排序和去重，当时没有考虑过内存的问题，直接就说快排然后去重。后来也想到了hash，但是仍然没有考虑过内存问题。所以在此总结一下此类问题。 位图 位图就是每一位都用来存放状态，适合于大规模数据，因为二进制为0,1，所以有两种状态，存在和不存在的判断。位图其实就是一个数组，只不过每一位都代表了另一个数，也可以看做是直接定址的哈希。 我们将大数先除以32，划分到新的小...
采用位图存储40亿条qq号,用来记录登录状态
all_light的博客
06-12 1934
假设有需要你在一个8G内存的容器里面做个服务，用来根据用户输入的qq号，判断此qq号是否登录过。qq总数有40亿，每天的登录记录了有1000亿条，每个qq号存储占4byte，设计下用哪种数据结构？ 1.采用类似于B+树的结构，可以实现但不是最优解 2.最优解是使用位图（bitmap）来存储，qq号作为下标，用1bit来存储0和1表示是否登录过。这样需要花费的内存约为500M，足够使用。 在此基础上又来了新的需求，需要统计每个用户每天登录的次数，需要怎么实现？ 在位图的基础上使用8bit来存储登录的次
场景题：有40亿个QQ号如何去重？仅1GB内存
最新发布
龙大
03-04 305
场景题也有一些套路可以考虑，比如去重、判断给定数据是否存在。
从1亿个数字中取出最大的100个数字- 位图排序（空间换时间）
AIfurture的博客
04-08 445
/* *一个排序算法题:从1亿个数字中取出最大的100个 *装逼宝典：位图公式 bitmap[arr[i]]=1; 将传统数组转换为位图数组就完成了排序！！！ * *什么是位图？答：构建公式：bitmap[arr[i]]=1; 其中arr是我们的传统数组，bitmap是位图数组。 *位图长度多少？答：bitmap.length=arr[i].maxValue...
1亿qq在线背后的技术
系统运维
02-14 299
摘要： 众所周知，海量互联网服务能力是世界公认的技术难题。经过十多年的发展，腾讯在海量互联网服务方面已有不少技术积累。以QQ IM后台服务为例，重现了QQ在线用户从百万级到亿级的整个过程中遇到的技术挑战，并分享了众多在海量互联网后台服务研发运营方面不为人知的秘密。 庄泗华：腾讯通平台部高级技术总监、腾讯T4级技术专家、腾讯软件开发通道分会会长。中科院计算技术研究所硕士，2004年毕业加入腾讯...
Java服务端面试复习资料：位图排序解十亿QQ号问题
由于每个QQ号用7个字节存储，1MB内存大约可以存储143000个数字，但我们可以使用位运算来极大地减少所需空间。 2. 然后，遍历待排序的QQ号，将对应位数组的相应位置设为1，其余位置保持0。 3. 排序过程分三步：初始...
40亿QQ号去重：1G内存下的位图与布隆过滤器策略
面对40亿个unsigned int（无符号整数）存储需求高达14.9GB的问题，文章提出使用位图（Bitmap）作为解决方案。位图利用计算机中的位（bit）来表示每个数字，每个数字占用1个位，大大减少了存储空间。例如，40亿个数字...
如何在1G内存下对40亿QQ号去重？Java高效解决方案
正在努力模索的博客
02-26 1363
如何在1G内存下对40亿QQ号去重？Java高效解决方案
架构设计内容分享(十一)：40亿QQ号，给1G内存，怎么去重？
之乎者也·的博客
12-21 1721
所谓位图（BitMap）其实就是一个bit数组，即每一个位置都是一个bit，其中的取值可以是0或者1位图（BitMap）思想：就是用一个bit来标记元素，bit是计算机中最小的单位，也就是我们常说的计算机中的0和1，这种就是用一个位来表示的。像上面的这个位图，可以用来记录三个数：1，4，6。为啥呢？第1位、第4位、第6位 三个位置为 1。如果不用位图的话，我们想要记录1，4，6 这三个整型的话，怎么办？就需要用三个unsigned int，已知每个unsigned int占4个字节，那么就是。
42亿QQ，O(1)时间复杂度完成查找
hpugym的专栏
04-19 7427
一、问题描述：  1.在42亿个qq号码中，如何使用O(1)时间复杂度去查找一个QQ号是否存在。  2.qq号的位数小于13位，存储着42亿QQ号的内存不得超过600MB.二、位图排序思想  由于待排序的数据记录较多，我们单纯地使用常见的排序方法时间效率较低，运行时间会很长。而且内存空间有限（限制为1MB左右），所以我们不能同时把所有整数读入内存（如果每个整数使用7个字节来存储，那么1MB内存空间...
如何对40亿QQ号进行去重？
Hello World
08-27 828
首先来看看如果要存储40亿QQ号需要多少内存？我们使用无符号整数存储，一个整数需要4个字节，那么40亿需要4*4000000000/1024/1024/1024≈15G，在业务中我们往往需要更多的空间。而且在Java中并不存在无符号整形，只有几个操作无符号的静态方法。这种存储很显然是不太优雅的，对于这种大数据量的去重，我们可以使用位图Bitmap。
40亿个QQ号，限制1G内存，如何高效去重
m0_73355421的博客
01-15 784
在处理大规模数据去重问题时，位图和布隆过滤器是两种非常有效的解决方案。位图适用于需要精确去重的场景，内存使用相对较少，但仍然有一定的内存开销。布隆过滤器适用于对误判率可以容忍的场景，内存使用更少，但存在一定的误判率。在实际应用中，可以根据具体需求选择合适的去重方法。如果需要更高的精度，可以使用位图；如果对误判率可以容忍，可以使用布隆过滤器来进一步节省内存。希望本文对你有所帮助，如果有任何问题或建议，欢迎在评论区留言讨论。
Elasticsearch聚合优化 | 聚合速度提升5倍
热门推荐
铭毅天下Elasticsearch
02-04 3万+
1、聚合为什么慢？ 大多数时候对单个字段的聚合查询还是非常快的， 但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用 es 大量内存，从而导致 OOM 的情况发生。 实践应用发现，以下情况都会比较慢： 1）待聚合文档数比较多（千万、亿、十亿甚至更多）； 2）聚合条件比较复杂（多重条件聚合）； 3）全量聚合（翻页的场景用）。 2、聚合优化方案探讨 优化方案一
10分钟搞懂：亿级用户的分布式数据存储解决方案！
weixin_30418341的博客
06-12 842
分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。 接下来，你将花费十分钟掌握以下三方面内容：1、MySQL复制：包括主从复制和主主复制；2、数据分片：数据分片的原理、分片的方案、分片数据库的扩容；3、数据库分布式部署的几种方案。 一、MySQL复制 1.MySQL的主从复制MySQL的主从...
怎样对10亿个数字快速去重？——浅析位图数据结构及其应用
hustwht的专栏
08-11 1万+
给你几亿个QQ号，怎样快速去除重复的QQ号？ 可以作如下假定： QQ号数字范围从0到十亿，即[0, 1000000000)，且最多给你10亿个QQ号，这些QQ号放在1或多个文本文件中，格式是每行一个QQ号。 请读者先独立思考一下该怎样解决。 ———————————————————————————————————————————————————————— 其实在一年前碰
海量数据处理
酒中仙的专栏
11-29 6406
本文转自:http://www.epubit.com.cn/article/290 所谓海量数据处理，是指基于海量数据的存储、处理或操作。因为数据量太大，导致要么无法在较短时间内迅速解决，要么无法一次性装入内存。 事实上，对于时间问题，可以采用巧妙的算法搭配合适的数据结构（如布隆过滤器、散列、位图、堆、数据库、倒排索引、Trie 树）来解决；对于空间问题，可以采取分而治之的方法（如利用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值