每年各大IT公司招聘的笔试题里面都有海量数据处理的问题,而这些问题在一般的课本中都找不到讲解。在此参考网上牛人的blog,写一个总结。
海量数据处理一般都是要解决非常大量的数据(一般以亿作为单位)的存储,查找等,数据不可能一次性存入到内存当中,往往采用分而治之的方法,将问题简化为我们熟知的状况。
其中使用到方法有:
1.存储问题
i.位图法
ii.hash映射
iii.Bloom filter
iv.双层桶划分
v.数据库索引
vi.倒排索引
vii.分布式处理 mapreduce
2.查找问题
归并排序/堆排序/快速排序/trie树+二分查找
一.Bloom filter