大数据、数据挖掘、数据分析、数理统计之间的关系

一、基于大数据的数据分析方法

 

基于大数据的数据分析方法的理论基础是数据挖掘和分布式计算原理。大数据具有海量、快速、多样化和有价值四个方面的重要特征，其海量特性使得数据分析时不可能用单台机器完成而是需要多台机器同时运算，也就是所谓的分布式运算。在大数据时代，大数据技术需要解决两个难题：一是海量数据在多台机器上的存储；二是解决如何对多台机器上存储的数据进行计算分析。大数据技术的基本原理还是聚类、分类、主题推荐等数据挖掘算法的内容，在基于大数据的数据分析方法中，有很多方法都是对原有算法的改进，将原来单机实现的算法改成多台机器的分布式计算。简单地说，基于大数据的数据分析方法就是分析工具不一样的数据分析方法，有的也加入了数理统计的思想。

 

二、大数据分析常用工具一览

 

1．Hadoop大数据生态平台