MapReduce
MapReduce是一个并行计算与运行软件框架(Software Framework)
Hadoop、Spark
MapReduce的一个经典实例是Hadoop。
Spark是类Hadoop的通用并行架构,拥有Hadoop所具有的优点,但不同于MapReduce的是–Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Kafka
数据管道。
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
Hbase
结构化存储