海量数据处理
文章平均质量分 77
Sunny_Oo
喜欢编程,希望各位大神多多指教!!
展开
-
秒杀99%的海量数据处理面试题(一)
秒杀99%的海量数据处理面试题(只谈方法)何谓海量数据处理?所谓海量数据处理,其实很简单,海量,海量,何谓海量,就是数据量太大,所以导致要么是无法在较短时间内迅速解决,要么是数据太大,导致无法一次性装入内存。方法:1、分而治之/hash映射 + hash统计 + 堆/快速/归并排序;2、Bloom filter/Bitmap;3、Trie树/数据库/倒排索引原创 2017-07-30 16:49:31 · 483 阅读 · 0 评论 -
秒杀99%的海量数据处理面试题(二)
密匙二:Bloom filter/Bitmap关于什么是Bloom filter,请参看此文:海量数据处理之Bloom Filter详解。 适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集基本原理及要点: 对于原理来说很简单,位数组+k个独立hash函数。将hash函数对应的值的位数组置1,查找时如果发现所有hash函数对应位都是1说明存在,很明显这个过程原创 2017-07-30 17:06:34 · 482 阅读 · 0 评论