如何有效合并两个文件：一个是1亿条的用户基本信息，另一个是用户每天看电影连续剧等的记录，5000万条。其中内存只有1G。

最新推荐文章于 2022-01-18 20:04:40 发布
最新推荐文章于 2022-01-18 20:04:40 发布
阅读量696 收藏
点赞数
分类专栏： 算法

如何有效合并两个文件：一个是1亿条的用户基本信息，另一个是用户每天看电影连续剧等的记录，5000万条。其中内存只有1G。


显然内存不能同时存下所有的数据，所以考虑分而治之的思想。
假设1K Byte可以保存一个用户的基本信息和看电影记录。我们可以将基本信息和看电影记录都按照hash(user_name)%100的余数各分成100个小文件。利用1G内存，我们可以每次只处理一对小文件，然后将结果输出到一个文件中即可。
在处理一对小文件时，可以利用key为用户名的hash_map将基本信息和看电影记录合并在一起。顶踩

xiaoliuliu2050
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Android Studio中，将两个项目合并到一个项目中
08-02
该资源使用Gradle配置，将两个Android项目合并到一个项目中。 使用场景 : 在工作中，由于各种原因，导致需要将两个可单独运行的App项目，合并到一个git仓库里，且单独的App项目里还有其他Module模块。如果只是将两个...
迅雷2009南京大学校园招聘面试题
ProgrammingRoad
12-14 3629
说说JVM原理？内存泄露与溢出区别，何时产生内存泄露？ 用java怎么实现有每天有1亿条记录的DB存储？mysql上亿记录数据量的数据库如何设计？ mysql支持事务吗？DB存储引擎有哪些？ mvc原理，mvc模式的优缺点,如果让你设计你会怎么改造MVC？ hibernate支持集群吗？如何实现集群？ tomcat 最多支持并发多少用户？ map原理，它是如何快速查找k
大数据(二) - HDFS
热门推荐
will的成长之路
01-12 1万+
HDFS优点     高容错性             数据自动保存多个副本             副本丢失后，自动恢复     适合批处理             移动计算而非数据             数据位置暴露给计算框架     适合大数据处理             GB、TB、甚至PB级数据             百万规模以上的文件数量
个人数据合并
Zzzzzz_m的博客
01-18 836
import random random.seed(int(input())) ls_a = [] ls_b = [] for i in range(5): ls_a.append([i+1, random.randint(0, 100), random.randint(0, 100)]) ls_b.append([i+1, random.randint(0, 100)]) k = int(input()) for i in range(5): ls_a[i].insert(.
文件合并用小内存
ccnn_yanan的博客
01-15 242
传统方式 Files.write(Paths.get("D:\\upload\\21.txt"), Files.readAllBytes(Paths.get("D:\\upload\\deleted\\1.mp4")), StandardOpenOption.APPEND); 把1.mp4合并到2.txt 假如1.mp4是1g大小 把 1g大小 先读到 内核缓冲区（占用物理内存1g） 然后在...
易语言将两个EXE文件捆绑成一个文件的打包工具
08-26
今天小编就为大家分享一篇关于易语言将两个EXE文件捆绑成一个文件的打包工具，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
python实现两个文件合并功能
09-20
主要为大家详细介绍了python实现两个文件合并功能，一个简单的文件合并程序，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
C++版本将两个有序链表合并为一个新的有序链表并返回原理及代码实现
07-03
C++版本将两个有序链表合并为一个新的有序链表并返回原理及代码实现
python如何将两个txt文件内容合并
09-18
主要为大家详细介绍了python如何将两个txt文件内容合并，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
记录文件
lx251845027的专栏
06-12 307
1.http://www.cnblogs.com/growing/archive/2011/12/29/2306081.html java Web导出word完美解决方案（转载）
看了几个电影
温馨的风的博客
01-28 524
还不错，看了有笑也有泪，^_^ 一直忙，几乎没看过电影，看了后感觉还不错，不过最喜欢的还是科幻，^_^。 
找出看了5个电影以上的用户
dazhi_100的专栏
09-09 1480
问题： 在1亿条用户记录里，如何快速查询统计出看了5个电影以上的用户？ 解答： 分以下几个步骤完成： 1. 建立 hash_map 2. 顺序扫描1亿条用户记录：     (1). 如果 用户 在hash_map中不存在，则新增并设 电影数=1；     (2). 如果对应的用户名存在，则将其 电影数+1，如果+1之后 电影数>5，则输出该用户，否则(+1之前已经>5的不输出)
2020-04-25：用户每看一次电影有一条记录，一亿用户里看过5次电影以上的人，查找出来
福大大架构师每日一题
06-11 6895
答案均从群聊中来，不能保证100%正确。 1.redis集群+zset有序集合 2.hadoop 3.kafka 4.flink或者spark streaming 5.mysql：select userid from records group by userid having count(userid)>=5 6.搞一个 100M 的存储，每个字节代表一个用户的观影次数 评论 ...
按看电影次数的最多的前n个用户问题，极限性能解答
superzmy的专栏
03-14 763
有一个5000万的用户文件，一个2亿记录的用户看电影记录，列出前1000/1000万个看电影次数最多的用户。 本答案比更通用更有扩展性的答案麻烦很多倍，但是性能应该也能强个几倍。 分析： 用户有50M个（显然不重复，我们关心用户名或UUID，总之是个超过int32的数据类型）， 记录有200M个（每行记录我们只关心是哪个用户）， 任务的最后一个步奏是不断的得出某个用户的总观影次数，配合最小堆，即可...
有两个文件test 1和2各正方形字符要求把这两个文件中的信息合并输入到另一个文件填三中
最新发布
03-14
您可以使用文件输入输出流将test 1和test 2中的信息读取出来，然后将它们合并到一个新的文件中。您可以使用以下代码实现： ```java try { // 创建输入流 BufferedReader reader1 = new BufferedReader(new ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值