100万个电话号码在文件里，找出重复的；内存不足以放下所有数据。

最新推荐文章于 2022-05-16 12:01:44 发布
最新推荐文章于 2022-05-16 12:01:44 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 积累
将电话号码转为数值型 
数值代表位图的偏移量 

创建一个100,000,000/8+1大小的byte数组作为位图 

num/8表示偏移量 
num%8表示在该byte的第几位 

如果该位是0，置为1 
如果是1，已经重复
_-U-_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
电话号码去重的java实现，小工具你值得拥有
05-08
实现数据的重复过滤功能，可灵活加入到任何系统中使用
极客时间-排序-基数排序（给100个手机号排序）
哦绝影
06-17 841
“基数排序对要排序的数据是有要求的，需要可以分割出独立的“位”来比较，而且位之间有递进的关系，如果 a 数据的高位比 b 数据大，那剩下的低位就不用比较了。除此之外，每一位的数据范围不能太大，要可以用线性排序算法来排序，否则，基数排序的时间复杂度就无法做到 O(n) 了。” package data.sort.line; public class CardinalitySort { public static String[] countSort(String b[],int index) {
一个手机号码剔重的问题
weixin_34319817的博客
07-19 186
问题 QQ群上有人问了这样一个问题， 现有2个待推广手机号码数据文件，A文件1000W行，B文件是100W，文件中每行记录只有手机号，号码有重复， 请设计高效方案先对A、B数据文件分别进行号码剔重，再找出B文件中在A文件存在的号码， 请写出核心设计思想，并编写代码完整实现。（注：请用纯c实现，不许采用数据库、Memcached等第三方中间件，号码数据文件请自行模拟生成） 答...
java处理重复电话号码文件(修改版)
Hally's Home
11-18 1503
在网上看到了一个小程序,修改了其中的bug(主要是没有关闭一些InputStreamReader之类的东西)修改为可以查找重复字符串,不仅仅是手机号.测试了一个文件,50万条带重复字符串的文件(每行一串字符,是移动的号段表)耗时 2515毫秒,实际效率应该比这个低,因为号段已经排过序了.代码如下:  import java.io.BufferedReader;import 
100万个数中找最大的前100个数
liujiahaogood的专栏
05-11 963
基本想法有两个： 1. 算法如下：根据快速排序划分的思想 (1) 递归对所有数据分成[a,b）b（b,d]两个区间，(b,d]区间内的数都是大于[a,b)区间内的数 (2) 对(b,d]重复(1)操作，直到最右边的区间个数小于100个。注意[a,b)区间不用划分 (3) 返回上一个区间，并返回此区间的数字数目。接着方法仍然是对上一区间的左边进行划分，分为[a2,b2）b2（b2,d2]两...
2015年1：100万全国基础地理信息数据
04-11
从压缩包子文件的文件名称列表来看，只有一个文件名“2015年 1：100万全国基础地理信息数据”，可以推测这可能是一个压缩包，其中包含了多个与上述描述相符的地理信息数据文件，如.shp、.dbf、.shx等。 使用这样的...
100万条测试数据电商单店用户购买力数据.7z
01-11
100万条数据可能还不足以称为大数据，但在某些场景下，它可以作为小型大数据集来测试大数据处理工具和框架，如Hadoop、Spark或Flink。测试内容包括数据清洗、数据整合、数据分析和挖掘等，以验证这些工具在处理大量...
mysql 100万1000万条数据表的生成，t100w.sql导入文件
08-11
【注意】建表需要先建库，然后在mysql中运行： source /路径/t100w.sql 即可以导入100万条的数据，表结构如下： DROP TABLE IF EXISTS `t100w`; CREATE TABLE `t100w` ( `id` int(11) DEFAULT NULL, `num` int(11...
1比100万基础地理数据2017县级行政区shp文件.zip
03-01
《1比100万基础地理数据2017县级行政区shp文件》是一个重要的地理信息系统（GIS）数据集，它包含2017年中国各县级行政区划的边界信息。这个压缩包提供了丰富的地理信息，对于研究、规划、分析以及地图制作等应用具有...
全国100万基础地理数据2017-居民地.zip
10-24
全国100万基础地理数据2017-居民地.zip是一个包含中国各地居民地信息的压缩文件，这些数据主要用于地理信息系统（GIS）的应用。这个压缩包中的数据集提供了2017年全国范围内的居民地及其相关设施的详细位置信息，对...
从文本中查找手机电话号查找并保存
02-03
从一些乱七八糟的格式里找到手机号码并整理出来，可以先显示保存，再另存为单独文件，支持打开txt文件。
怎么在海量数据中找出重复次数最多的一个
qq_39081511的博客
05-17 1206
转自：https://blog.csdn.net/u010601183/article/details/564818681、海量日志数据，提取出某日访问百度次数最多的那个IP。　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的I...
40亿个手机号码如何去重？
杨宇昌的博客
05-16 2326
40亿个手机号码如何去重？
怎么对10亿个电话号码进行去重
热门推荐
less_cold的博客
10-20 1万+
方法一： 通过哈希算法，将10亿个电话号码按照哈希值落在多个文件中， 重复的电话号码有相同的哈希值，肯定位于一个文件中， 这样就可以分别对每个文件排序删除重复的电话号码。 方法二： 使用位图来进行处理。比如说这10亿个数的范围为【0-10亿】，那么就申请一个10亿的数组， 数组类型为boolen，只有0和1，0表示没有，1表示有。 这样自然而然的就删掉了重复的部分。
Java一亿电话号码去重_20 亿个数字在 4G 内存中如何去重排序：快来试一试 BitMap...
weixin_31163527的博客
02-25 1340
有一道流传广泛的面试题：给你一台 4G 内存的机器，一组 20 亿个无序正整数，如何快速地判断一个正整数 N 是否在这组数字中？或者如何快速地对这组数据排重后排序？让我们先算算 20 亿个整数会占用多大的内存空间，Java 的 int 类型占用 4 个字节，那么 20 亿 * 4 再换算成 G 大约是 7.5G，大于题目中 4G 内存的限制，无法一次性地放到内存中；这时候有些伙伴会说：“把数据放到...
1亿个手机号如何排序？
编程架构三分天下：分层、分治、分时序。
05-26 1516
文章目录问题分析步骤 问题 之前有朋友问了一个问题，说101010万个手机号怎么排序。我说101010万个太少了，读到数组中，直接排就行了。 今天突然想到一个问题，如果是1亿个手机号怎么排序呢？ 分析 先来理清一下需求： 有1亿个不重复的手机号，按行存放在一个大文件mobiles_in.txt中，要求将手机号由小到大排好序的结果输出到另一个文件mobiles_sorted.txt中。 1个手机号11位数字，再加上换行符(\r\n)，一行是13个byte，1亿个手机号的文件大小是13亿byte，大概是1.2
总结的部分JAVA面试题和答案
qq_25037905的博客
06-22 759
一面（技术面） 一、Java内存模型：虚拟机栈-独享的（一个线程一个栈）、堆-共享的（新生代-复制算法、老年代-标记整理-清除）、程序计数器-独享的（CPU切换线程管理）、元数据区-共享的（类信息、常量、静态变量、方法）、本地方法栈-独享（和操作系统交互） 二、full gc怎么触发：新生代满minor gc;1、老生代满2、永久代满 3、minor gc 不了的晋升到老生代的数据大于老生代大小；4、选择了CMS GC算法导致； 三、gc算法：1、可达性2、引用计数法3、复制（内存分2份，左满移右）
怎么找出txt文件长度在前100的数据
最新发布
06-09
可以使用Python内置的`sort()`方法对文件中的内容进行排序，并取出文件长度前100的数据。 以下是示例代码： ```python with open('filename.txt', 'r') as file: content = file.readlines() content.sort(key=...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值