海量数据处理

一、计算容量

1个整数占4byte，1亿个整数占4*10^8byte 大概为 400 MB；

二、拆分

可以将海量数据拆分到多台机器上和拆分到多个文件上：

如果数据量很大，无法放在一台机器上，就将数据拆分到多台机器上。这种方式可以让多台机器一起合作，从而使得问题的求解更加快速。但是也会导致系统更加复杂，而且需要考虑系统故障等问题；

如果在程序运行时无法直接加载一个大文件到内存中，就将大文件拆分成小文件，分别对每个小文件进行求解。

按散列值拆分：选取数据的主键 key，然后通过哈希取模 hash(key)%N 得到该数据应该拆分到的机器编号，其中 N 是机器的数量。优点是不需要使用查找表，缺点是可能会导致一台机器存储的数据过多，甚至超出它的最大容量。
 

三、解决思路之分而治之/Hash映射 + Hash统计 + 堆/快速/归并排序

1、海量日志数据，提取出某日访问百度次数最多的那个IP（就是先映射，而后统计，最后排序）

分而治之/hash映射：针对数据太大，内存受限，只能是：把大文件化成(取模映射)小文件，即16字方针：大而化小，各个击破，缩小规模，逐个解决；

hash统计：当大文件转化了小文件，那么我们便可以采用常规的unodered_map(ip，value)来进行频率统计。

堆/快速排序：统计完了之后，便进行排序(可采取堆排序)，得到次数最多的IP。

2、有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。

由上面那两个例题，分而治之 + hash统计 + 堆/快速排序这个套路，我们已经开始有了屡试不爽的感觉。下面，再拿几道再多多验证下。请看此第3题：又是文件很大，又是内存受限，咋办?还能怎么办呢?无非还是：

分而治之/hash映射：顺序读文件中，对于每个词x，取hash(x)%5000，然后按照该值存到5000个小文件（记为x0,x1,…x4999）中。这样每个文件大概是200k左右。如果其中的有的文件超过了1M大小，还可以按照类似的方法继续往下分，直到分解得到的小文件的大小都不超过1M。

hash统计：对每个小文件，采用trie树/unodered_map等统计每个文件中出现的词以及相应的频率。

堆/归并排序：取出出现频率最大的100个词（可以用含100个结点的最小堆），并把100个词及相应的频率存入文件，这样又得到了5000个文件。最后就是把这5000个文件进行归并（类似于归并排序）的过程了。

可以估计每个文件安的大小为5G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。

遍历文件a，对每个url求取hash(url)%1000，然后根据所取得的值将url分别存储到1000个小文件(记为a0,a1,…,a999，每个小文件约300M)；

遍历文件b，采取和a相同的方式将url分别存储到1000个小文件(记为b0,b1,…,b999)；这样处理后，所有可能相同的url都被保存在对应的小文(a0vsb0,a1vsb1,…,a999vsb999)中，不对应的小文件不可能有相同的url。然后我们只要求出这个1000对小文件中相同的url即可。

求每对小文件ai和bi中相同的url时，可以把ai的url存储到hash_set中。然后遍历bi的每个url，看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件里面就可以了。

1、给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？

申请512M的内存，一个bit位代表一个unsigned int值。读入40亿个数，设置相应的bit位，读入要查询的数，查看相应bit位是否为1，为1表示存在，为0表示不存在。

五、解决思路之外排序

外排序一般是应对于数据量非常大的数据，这些数据放在硬盘上，无法一次性的放到内存上。所以，我们通常采用的思路对于这些数据就是进行切分，然后对切分出来的文件进行排序。在排序的时候，小文件我们采用快排来排序，如果是大文件，我们就从两个文件中一个一个读取，然后进行归并排序，放入合并以后的文件当中，最后最大的文件就是排序以后的结果。

本文章来自就于
https://blog.csdn.net/daaikuaichuan/article/details/88549997#font_size5font_2