shusheng02的博客

原创 大数据生态中‘Hadoop’、‘Hive’、‘Spark’、‘Mapreduce’、‘HDFS’、‘Yarn’是什么关系

Hadoop生态中Mapreduce：处理计算，提供任务并行的框架，通过它的API抽象让用户把并行程序分成两个阶段，（1）map阶段：把任务分成若干份，分给集群中的服务器去完成（2）reduce阶段：等各个服务器把任务完成然后得到最终结果。再进入信息爆炸时代后，数据的容量越来越大，导致一台服务器存不下，所以要用集群来存储、处理信息，但是管理一台服务器容易，怎么去统一管理集群的信息成了问题。Hadoop生态中HDFS：处理存储，管理信息的分布式存储、提供接口，让用户感觉集群中的信息好像是存储在一台服务器上。