5种必知的大数据处理框架技术

http://www.cnblogs.com/oc-bowen/p/6109009.html

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。

下文将介绍这些框架：

· 仅批处理框架：

Apache Hadoop

· 仅流处理框架：

Apache Storm

Apache Samza

· 混合框架：

Apache Spark

Apache Flink