有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
计算：所以我们要按照1M的上限来计算，假设每个单词都为16个字节，那么1M的内存可以处理多少个单词呢？1M = 1024 KB = 1024 * 1024 B 。然后1M / 16B = 2^16个单词1G大概有多少个单词呢？ 有2^26个单词但是实际中远远不止这些，因为我们是按照最大单词长度算的。我们需要把这1G的单词分批处理，根据上面的计算，可以分成大于2^10个文件。索性就分成2000个文件吧，怎么分呢，不能随便分，不能简单的按照单词的顺序然后模2000划分，因为这样有可能相同的单词被划分
原创
2021-04-28 19:06:59 ·
1826 阅读 ·
0 评论
关注
分享
扫一扫