常见海量数据问题及解决方案

最新推荐文章于 2024-07-17 10:19:40 发布

低头看天，抬头走路

最新推荐文章于 2024-07-17 10:19:40 发布

阅读量629

点赞数

分类专栏： # Top K 文章标签：海量数据 top k

本文链接：https://blog.csdn.net/rusbme/article/details/99662256

版权

Top K 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

现有海量日志数据，要提取出某日访问百度次数最多的那个IP.内存空间有限只有512MB不能全部加载

对于大部分的数据量比较大的问题而言，分治都是一个可选的解决方案，解决方法基本划分为三步走：

 1. 如何有效的划分数据。一般是hash划分，这样能让相同的数据划分到同一个文件中   类似于map-reduce的map
 2. 如何在子集上解决问题。 类似于reduce阶段的处理
 3. 如何合并结果。 比如归并排序。

首先解决如何划分。由于IP地地址范围从000.000.000.000~255.255.255.255共有2^32个大约4GB，那么我们可以通过取模的方式进行划分，直接将四段数据相连就得到一个IP对应的数字A，再对A模1024(模数取多少可以自己指定，保证每个小文件能被放到内存就好)，这样大文件被划分成小文件了，并且相同的IP一定被划分到相同的文件中。
其次解决每个小文件中TOP1的问题。可以构造自己的HashMap,key为IP，value为当前出现次数，通过最小堆找到value最大的Key即为当前文件中出现次数最多的IP。
最后要解决结果合并问题。这里直接将1024个子文件的统计结果进行归并排序比较，找到最大的数据。

有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词

这个和第一个问题没有太大区别，第一个问题是Top1，这个问题是TOP100。

第一步hash划分，拆成若干小文件，并且相同的词必然在同一个文件中。
第二步可以考虑用堆排序，即常用的TopN手段。
第三部就是更为常见的归并排序。

给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？

还是分治思想，对a,b进行分片，a,b文件大小都大约320G，那么每个文件都通过hash切分成1G的320个小文件，同样的url会划分到同一个文件中。

然后求两个小文件集合中，每个小文件共同的url。

lista->{a1,a2,a3...a320}

listb->{b1,b2,b3...b320}

resultlist = []
for tmpfile in lista:
    for infile in listb:
        for url in tmpfile:
            if url in infile:
                resultlist.add(url)

有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。

划分数据：顺序读取10个文件，按照hash(query)%10的结果将query写入到另外10个文件中。这样新生成的文件每个的大小大约也1G，并且相同的query在同一个文件中。
在子集上解决问题：用hash_map(query, query_count)来统计每个query出现的次数。利用快速/堆排序按照出现次数进行排序。将排序好的query和对应的query_cout输出到文件中。
合并结果：对10个排好序的文件进行归并排序。