大规模数据处理

       近一段时间看了有关大规模数据处理相关知识，发现在很多大公司的笔试环节，都会有附加题。而附加题往往涉及到的题目基本都是大规模数据处理相关的知识，就是对百万甚至上亿的数据进行处理，在处理的过程中，对存储有一定的限制，需要笔试者设计一种合理的方案，既能实现数据的处理，且不需要添加附加的内存。在对这类问题处理时，永达最多的方案有哈希表，tired树，堆，bloom filter，对上述几种方法进行结合，需要根据具体的情况进行综合。
      就拿今年腾讯的笔试题来说吧，需要在4g的存储的QQ号中，寻找出现频率最多的qq号，而对于内存具有一定的限制，内存只有2g。这就需要使用hash表和分段进行结合。首先将qq号分成多个文件进行存储，使用hash表进行存储。然后找出多个hash表中出现频率较多的qq号提取出来，进行小规模的数据合并排序，提取所需要的数据。
    这是我对这个问题的理解，可能有些不足。但是对于这类问题，归根到底就是将大规模的数据转换为小规模的数据进行处理，这样就将数据进行了简化。