大数据处理相关

给定 a、b 两个文件，各存放 50 亿个 url，每个 url 各占 64 字节，内存限制是 4G，让你找出 a、b 文件共同的 url？

• 解答：

方案 1：

• 方法:将大文件分成能够被内存加载的小文件。
• 思路:可以估计每个文件的大小为 50G×64=3200亿字节=320G，远远大于内存限制的 4G。
  • 所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
• step1: 遍历文件 a，对每个 url 求取hash(url)%1000 ，
  • 然后根据所取得的值将 url 分别存储到 1000 个小文件（记为a0,a1,…,a999，每个小文件约300M）中。
  • 这样每个小文件的大约为 300M。
• step2: 遍历文件 b，采取和 a 相同的方式将 url 分别存储到 1000 各小文件（记为记为b0,b1,...,b999）。
  • 这样处理后，所有可能相同的 url 都在对应的小文件（a0vsb0,a1vsb1,…,a999vsb999）中，不对应的小文件不可能有相同的 url。
  • 然后我们只要求出 1000 对小文件中相同的 url 即可。
• step3: 求每对小文件中相同的 url 时
  • 可以把其中一个小文件的 url 存储到 hash_set 中。
  • 然后遍历另一个小文件的每个 url，看其是否在刚才构建的 hash_set 中，
  • 如果是，那么就是共同的 url，存到文件里面就可以了。

方案 2：内存映射成 BIT 最小存储单元。

• 如果允许有一定的错误率，可以使用 Bloom filter，4G 内存大概可以表示 340 亿 bit。
• 将其中一个文件中的url使用Bloom filter映射为这340亿bit，
• 然后挨个读取另外一个文件的url，检查是否与Bloom filter，
• 如果是，那么该 url 应该是共同的 url（注意会有一定的错误率）。

【补充】

• 1、为什么使用hash？

  • 是把任意长度的输入（又叫做预映射pre-image）通过散列算法变换成固定长度的输出，该输出就是散列值。

• 这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，

• 所以不可能从散列值来确定唯一的输入值。

• 简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。

• 也就是说将url通过hash函数变成一个固定长度的值，（url有的挺长的！）然后假如有一部分数值%1000后，

• 等于0，那么放入到a0中，等于1的放入到a1中，以此类推。。。

• 【注】：

• 1、Hash取模是一种等价映射，不会存在同一个元素分散到不同小文件中的情况。

  • 即这里采用的是mod1000算法，那么相同的url在hash取模后，只可能落在同一个文件中，不可能被分散的。
  • 因为如果两个url相等，那么经过Hash(url)之后的哈希值是相同的，将此哈希值取模（如模1000），必定仍然相等。

• 2、那到底什么是hash映射呢？

  • 简单来说，就是为了便于计算机在有限的内存中处理big数据
  • 从而通过一种映射散列的方式让数据均匀分布在对应的内存位置
  • (如大数据通过取余的方式映射成小树存放在内存中，或大文件映射成多个小文件)，
  • 而这个映射散列方式便是我们通常所说的hash函数，设计的好的hash函数能让数据均匀分布而减少冲突。
  • 尽管数据映射到了另外一些不同的位置，但数据还是原来的数据，只是代替和表示这些原始数据的形式发生了变化而已。

有 10 个文件，每个文件 1G，每个文件的每一行存放的都是用户的 query，每个文件的 query 都可能重复。要求你按照query 的频度排序。

• 解答：

方案 1：

• step1:顺序读取 10 个文件，按照 hash(query)%10 的结果将 query 写入到另外 10 个文件（记为x0,x1,...,x9）中。
  • 这样新生成的文件每个的大小大约也 1G（假设 hash 函数是随机的）。
• step2:找一台内存在 2G 左右的机器，依次对 用 hash_map(query, query_count)来统计每个 query 出现的次数。
  • 利用快速/堆/归并排序按照出现次数进行排序。将排序好的 query 和对应的 query_cout 输出到文件中。
  • 这样得到了 10 个排好序的文件（记为记为b0,b1,...,b2,b9）。
• step3:对 这 10 个文件进行归并排序（内排序与外排序相结合）。

方案 2：

• 一般 query 的总量是有限的，只是重复的次数比较多而已，可能对于所有的 query，一次性就可以加入到内存了。
  • 这样，我们就可以采用 trie 树/hash_map 等直接来统计每个 query 出现的次数，
  • 然后按出现次数做快速/堆/归并排序就可以了。

方案 3：

• 与方案 1 类似，但在做完 hash，分成多个文件后，可以交给多个文件来处理，
  • 采用分布式的架构来处理（比如 MapReduce），最后再进行合并。
• //一般在大文件中找出出现频率高的，先把大文件映射成小文件，模 1000，在小文件中找到高频的

有一个 1G 大小的一个文件，里面每一行是一个词，词的大小不超过 16 字节，内存限制大小是 1M。返回频数最高的 100 个词。

• 解答：

方案 1：顺序读文件中，对于每个词 x，取 ，

• 然后按照该值存到 5000 个小文件（记为 ）中。
• 这样每个文件大概是 200k 左右。
• 如果其中的有的文件超过了 1M 大小，
• 还可以按照类似的方法继续往下分，
• 直到分解得到的小文件的大小都不超过 1M。
• 对每个小文件，统计每个文件中出现的词以及相应的频率
  • （可以采用 trie 树/hash_map 等），
• 并取出出现频率最大的 100 个词（可以用含100个结点的最小堆），
• 并把 100词及相应的频率存入文件，这样又得到了 5000 个文件。
• 下一步就是把这 5000 个文件进行归并（类似与归并排序）的过程了。

方案2:

• 1.将文件逐行读写到另一个文件中，并将每行单词全变成小写
• 2.十六次循环执行，将每行单词按照a-z写到不同文件里
• 3.最后相同的单词都写在了通一个文件里
• 4.再将文件读写到各自另一个文件里，内容是“单词 个数”
• 5.定义一个treemap，大小是100，依次插入大的，移除小的
• 6.最后得出结果

海量日志数据，提取出某日访问百度次数最多的那个 IP。

• 解答：
  • 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。
  • 同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP
  • （可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，
  • 找出那个频率最大的IP，即为所求。
• 或者如下阐述：
• 算法思想：分而治之+Hash
• 1、IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理；
• 2、可以考虑采用分而治之的思想，按照IP地址的Hash(IP) % 1024值，
  • 把海量IP日志分别存储到1024个小文件中，这样，每个小文件最多包含4MB个IP地址；
  • 这里解释一下为什么用Hash(IP) % 1024值，如果不用，而直接分类的话，可能会出现这样一种情况，
  • 就是有个IP在每个小文件中都存在，而且这个IP并不一定在那个小文件中是数量最多的，
  • 那么最终可能选择的结果会有问题，所以这里用了Hash(IP)%1024值，这样的话，
  • 通过计算IP的Hash值，相同IP肯定会放到一个文件中，当然了不同的IP的Hash值也可能相同，就存在一个小文件中。
• 3、对于每一个小文件，可以构建一个IP为key，出现的次数为value的Hash Map，同时记录当前出现次数最多的那个IP地址；
• 4、可以得到1024个小文件中的出现次数最多的那个IP，再依据常规的排序算法得出总体上出现次数最多的IP。

在 2.5 亿个整数中找出不重复的整数，内存不足以容纳这 2.5 亿个整数。

• 解答：

方案 1：采用 2-Bitmap（每个数分配 2bit，00 表示不存在，01 表示出现一次，10 表示多次，11 无意义）进行，

• 共需内存2^32 * 2 bit=1 GB内存，还可以接受。
• 然后扫描这 2.5 亿个整数，查看 Bitmap 中相对应位，
• 如果是00 变 01，01 变 10，10 保持不变。
• 所描完事后，查看 bitmap，把对应位是 01 的整数输出即可。

方案 2：也可采用上题类似的方法，进行划分小文件的方法。

• 然后在小文件中找出不重复的整数，并排序。然后再进行归并，注意去除重复的元素。

方案3：

• 1.将2.5亿个整数重写到一个文件里，每个整数占一行。
• 2.进行对半排序重写到新的文件里，这样最后2.5亿个整数在文件里便是有序的了
• 3.读取文本，将不重复的写到一个新的文件里即可。

海量数据分布在 100 台电脑中，想个办法高统计出这批数据的 TOP10。

• 解答：
  • 1.在每台电脑上求出TOP10，可以采用包含10个元素的堆完成（TOP10小，用最大堆，TOP10大，用最小堆）。
    • 比如求TOP10大，我们首先取前10个元素调整成最小堆，如果发现，然后扫描后面的数据，并与堆顶元素比较，
    • 如果比堆顶元素大，那么用该元素替换堆顶，然后再调整为最小堆。最后堆中的元素就是TOP10大。
  • 2.求出每台电脑上的TOP10后，然后把这100台电脑上的TOP10组合起来，共1000个数据，
    • 再利用上面类似的方法求出TOP10就可以了。
  • 注意：本题目中的TOP10是指最大的10个数，而不是指出现频率最多的10个数。
  • 现在有另外一题，要你求频率最多的 10个，相当于求访问次数最多的10个IP地址那道题，即是解答题4。特此说明。

怎么在海量数据中找出重复次数最多的一个？

• 方案1：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录重复次数。然后找出上一步求出的数据中重复次数最多的一个就是所求（具体参考前面的题）。

上千万或上亿数据（有重复），统计其中出现次数最多的前N个数据。

• 方案1：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录重复次数。然后找出上一步求出的数据中重复次数最多的一个就是所求（具体参考前面的题）。

1000万字符串，其中有些是重复的，需要把重复的全部去掉，保留没有重复的字符串。请怎么设计和实现？

• 方案1：这题用trie树比较合适，hash_map也应该能行。

一个文本文件，找出前10个经常出现的词，但这次文件比较长，说是上亿行或十亿行，总之无法一次读入内存，问最优解。

• 方案1：首先根据用hash并求模，将文件分解为多个小文件，
  • 对于单个文件利用上题的方法求出每个文件件中10个最常出现的词。
• 然后再进行归并处理，找出最终的10个最常出现的词。

一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前10个词，请给出思想，给出时间复杂度分析。

• 方案1：
  • 这题是考虑时间效率。用trie树统计每个词出现的次数，时间复杂度是O(nle)（le表示单词的平准长度）。
  • 然后是找出出现最频繁的前10个词，可以用堆来实现，前面的题中已经讲到了，时间复杂度是O(nlg10)。
  • 所以总的时间复杂度，是O(nle)与O(nlg10)中较大的哪一个。

100w个数中找出最大的100个数。

方案1：采用局部淘汰法。选取前100个元素，并排序，记为序列L。然后一次扫描剩余的元素x，

• 与排好序的100个元素中最小的元素比，如果比这个最小的要大，那么把这个最小的元素删除，
• 并把x利用插入排序的思想，插入到序列L中。依次循环，知道扫描了所有的元素。复杂度为O(100w*100)。

方案2：采用快速排序的思想，每次分割之后只考虑比轴大的一部分，知道比轴大的一部分在比100多的时候，

• 采用传统排序算法排序，取前100个。复杂度为O(100w*100)。

方案3：在前面的题中，我们已经提到了，用一个含100个元素的最小堆完成。复杂度为O(100w*lg100)。

寻找热门查询：

• 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录，这些查询串的重复读比较高，虽然总数是1千万，但是如果去除重复和，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就越热门。请你统计最热门的10个查询串，要求使用的内存不能超过1G。
• (1) 请描述你解决这个问题的思路；
• (2) 请给出主要的处理流程，算法，以及算法的复杂度。

方案1：采用trie树，关键字域存该查询串出现的次数，没有出现为0。

• 最后用10个元素的最小推来对出现频率进行排序。
• 关于此问题的详细解答，请参考此文的第3.1节：第三章续、Top K算法问题的实现。
  • https://blog.csdn.net/athlenaa/article/details/86994633

一共有N个机器，每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。如何找到N^2个数中的中数？

方案1：

• 先大体估计一下这些数的范围，比如这里假设这些数都是32位无符号整数（共有2^32个）。
• 我们把0到2^32-1 的整数划分为N个范围段，每个段包含2^32/N个整数。比如，第一个段位0到(2^32/N) -1，
• 第二段为2^32/N到(2^32*2/N)-1，…，第N个段为2^32(N-1)/N到2^32-1。然后，扫描每个机器上的N个数，
• 把属于第一个区段的数放到第一个机器上，属于第二个区段的数放到第二个机器上，…，属于第N个区段的数放到第N个机器上。
• 注意这个过程每个机器上存储的数应该是O(N)的。下面我们依次统计每个机器上数的个数，一次累加，直到找到第k个机器，
• 在该机器上累加的数大于或等于N^2/2，而在第k-1个机器上的累加数小于N^2/2，并把这个数记为x。
• 那么我们要找的中位数在第k个机器中，排在第N^2/2 -x 位。然后我们对第k个机器的数排序，并找出第个数，
• 即为所求的中位数。复杂度是的O(N^2)。

方案2：先对每台机器上的数进行排序。排好序后，我们采用归并排序的思想，

• 将这N个机器上的数归并起来得到最终的排序。找到第（N2）/2个便是所求。
• 复杂度是O（N2*lgN^2）的。