海量数据处理

计算机硬件的扩容确实可以极大地提高程序的处理速度，但考虑到其技术、成本等方面的因素，这并不是一条放之四海而皆准的途径。而随着互联网技术的发展，云计算、物联网、移动通信技术的兴起，每时每刻，数以亿计的用户产生着数量巨大的信息，海量数据时代已经到来。
通过海量数据的挖掘能有效地揭示用户的行为模式，加深对用户需求的理解，提取用户的集体智慧，从而为研发人员决策提供依据，提升产品用户体验。
1.问题分析
海量数据，即大规模的数据。从海量数据中提取信息，不同于从常规级数据中提取信息，在海量数据中提取有用的信息，会有以下几个方面的问题：首先，数据量过大，数据中山门情况都有可能发生。其次，处理海量数据信息，除了要良好的软硬件配置，还需要合理使用工具。最后，处理海量数据时，要求很高的处理方法和技巧。
2.基本方法
针对海量数据的处理，可以使用的方法非常多，常见的方法有：Hash法，bit-map法，bloom filter法，数据库优化，倒排索引法，树，堆，双层桶法以及mapreduce法。
Hash法：
hash法一般称为散列，他是一种映射关系，即给定一个数据元素，其关键字为key，按一个确定的散列函数计算出hash(key),把hash(key)作为关键字key对应元素的存储地址，再进行数据元素的插入和检索操作。
散列函数一般有如下几个特点：运算尽可能简单；函数的值 域必须在列表的范围内；尽可能地减少冲突。
Bit-Map法：
Bit-Map（位图）法的基本原理是使用位数组来表示某些元素是否存在，例如从8位号码中查重复号码，本法适用于海量数据的快速查找、判重、删除等。
Bloom Filter法：
bloom filter的基本原理是：位数组和hash函数的联合使用。首先，bloom fiter是一个包含了m位的位数组，数组的每一位都初始化为0；其次，定义k个不同的hash函数，每个hash函数都可以将集合中的元素映射到位数组中的某一位。当向集合中插入一个元素时，根据k个hash函数可以得到位数组中的k个位，将这些位设置为1.如果查询某个元素是否属于集合，那么根据k个hash函数可以得到位数组中的k个位，查看k个位置的值，如果有的位不为1，则该元素肯定不在此集合中；如果这k个位全部为1，那么该元素可能在此集合中。
双层通法：
双层桶法不是一种数据结构，而是一种算法思想，类似于分治思想。因为元素范围很大，不能利用直接寻址，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。
例如以桶进行排序分析，桶排序的基本思路是把[0,1]划分为n个大小相同的子区间，没一个子区间是一个桶，然后将n个记录分配到各个桶中。因为关键字序列是均匀分布在[0,1]上的，所以一般不会有很多记录落在同一个桶中。