前言:
1、说明:一般解决大数据问题有两个思路:
1)先将与这道题相关的所有的数据结构进行使用一遍,如果有合适的就直接进行使用
2)如果不能直接使用,一般就要进行哈希切分,然后再使用合适的数据结构进行问题的解决
2、在这里我先来介绍一种常用于大数据问题的方法:哈希切分
1)先估算出要切分的大小
2)然后使用哈希的除留余数法进行各个数据的映射
经典题:
1、给一个超过100G大小的log file,log中存在着IP地址,设计算法找到出现此数最多的IP地址
思路分析:
1)要进行哈希切分编号,log file可以看做是字符串,利用哈希字符串转换算法进行转换,转换成整型后,利用哈希函数进行映射,同一IP地址肯定映射到同一编号中,
2)这里我们使用效率很快的哈希表,进行此数的统计,就可以找出出现此