大数据处理系统

大数据处理系统可以分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
目前主流的三大分布式计算系统Hadoop、Storm、Spark被广泛运用于大数据领域。
批处理大数据系统代表：Hadoop
注：这类系统虽然可对完整大数据集实现高效的即席查询，但无法查询到最新的实时数据，存在数据迟滞高等问题
流处理大数据系统代表：Spark Streaming、Storm（计算系统）
注：此类系统可以对最新实时数据实现高效预设分析处理模型的查询，数据迟滞低

1、分布式计算架构Hadoop

Hadoop作为分布式系统的基础架构，数据处理工作在硬盘层面，借助HDFS(分布式文件系统)，可以将架构下每一台电脑中的硬盘资源聚集起来，不论是存储计算还是调用都可以视为一块硬盘使用。之后使用集群管理和调度软件YARN，相当于Windows操作系统，最后利用Map/Reduce计算框架就可以在这上面进行计算编程。从而大幅降低了整体计算平台的硬件投入成本。

2、流数据处理Spark和Storm

由于Hadoop的计算过程放在硬盘，受制于硬件条件限制，数据的吞吐和处理速度明显不如使用内存来的快。于是Spark和Storm开始登上舞台。
Spark和Storm两者最大的区别在于实时性：Spark是准实时，先收集一段时间的数据