单机处理时扩展到集群处理: 单机数据处理 à 集群大数据处理
对应的变化:
1. 单机上的计算 à 集群中的计算
2. 单机上的数据存储 à 集群中的数据存储
3. 单机上的计算资源极其管理 à 集群中的计算资源极其管理
将生态圈中的各个框架对应到计算、数据存储于资源管理三大部分:
1. 集群计算:Spark计算框架、 Hadoop的MR计算框架等等…..
2. 集群数据存储: Hadoop的HDFS、Tachyon、S3等等…..
3. 集群资源管理:YARN、MESOS、Spark的Standalone模式中的Master等等…..
集群数据存储对外提供数据读写接口,集群资源管理对外提供资源分配与释放接口,集群计算负责从集群资源管理框架中申请/释放资源、从集群数据存储框架中读写数据,具备数据和计算所需资源后,启动具体的计算过程。
比如,Spark计算框架可以使用HDFS,S3等等各种数据存储框架,因为这些框架提供了数据读写接口,Spark计算时可以通过这些接口进行数据读写。
同样也可以使用各种资源管理框架,如mesos,yarn或自带的Master组件,通过向这些框架申请/释放资源,来获取计算所需的资源。
总结:计算框架、数据存储框架、资源管理框架等,都可以看成是一个个可插拔的组件组合使用。