我所了解的大数据

       大数据如今越来越热，数据量再大不会用，放到那里也是存储垃圾。所以随着数据量的越来越大，对数据的各种处理和挖掘需求也很多。这就促进分布式存储和计算软件的快速发展，集群的规模也越来越大。从以前的某家公司的服务器规模一万台都让人吃惊，到现在的BAT的大型分布式集群的总服务器规模在几万到几十万之间也不觉得匪夷所思。

       我现在接触的也是一些云平台集群的搭建和一些算法的并行化处理（一般是基于Mapreduce编程模型）没有用MPI编程模型具体为什么我也不太清楚。记得听人说在2010年的时候，360还仅仅刚搭建了第一个6台服务器的Hadoop集群，规模小的可怜。可是到后来的4年的时间里，自己的Hadoop集群的总规模已经突破一万台。HDFS这种分布式平台，它不适合大量小文件，因此存储海量小的如小图片、小文档就非常不适合直接存储到HDFS上，相对他的HBase就比较好。例如像M/R这样技术平台不适合处理有大量迭代的计算任务（因为每次迭代数据都要写入HDFS并从HDFS读出来，效率很低），因此机器学习相关的计算不适合在M//R平台上运行，采用数据都基于内存的计算平台就会比M/R平台更合适。