大数据2

机器学习和数据挖掘的区别

数据挖掘是一个比较大的概念，由许多学科综合而成，其包括机器学习、统计学习、数据库、领域知识及模式识别等领域。数据挖掘与机器学习可以看成是一种相交关系，两者都是依靠规律分析来预测数据趋势的，但不同点是数据挖掘是针对海量数据进行的，机器学习不是；机器学习是以探索机器学习人的学习机制为目标的，数据挖掘不是。

数据挖掘，也可以叫数据深层采集，是指利用各种技术与统计方法，将大量的历史数据，进行整理分析，归纳与整合，找到隐藏在数据深层之中的趋势和价值，是为了找寻隐藏在数据中的有用信息，如趋势、特征及相关的一种过程。
机器学习，是指从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法，因为学习算法中涉及了大量的统计学理集结，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的、行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法，比如手写识别、机器人识别等。

大数据处理与分析

系统名称	特点	系统描述
MapReduce	分布式并行编程模型	用于大规模数据集（大与1TB）的并行运算，