1.aaa
Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。
1.1 bbb
对于Spark这样的分布式计算系统,任务会分发到多台机器上执行,榨干有限的集群资源来实现快速并行计算达到高效快速,Spark优先考虑使用各节点的内存作为存储
2ccc
当内存不足时都会考虑使用磁盘,这极大地减少了磁盘I/O,提供了任务执行的效率,使得Spark适用于实时计算、迭代计算、流式计算等场景
3 ddd
生成一些海量数据的报表/建立机器学习相关的模型
3.1eee
Mesos是一个资源管理框架。用户可以在其中插件式地运行计算框架的任务。Mesos会对资源和任务进行隔离,并实现高效的资源任务调度。可以通过队列进行分配,管理同时运行在集群种的多个服务,可根据不同类型的应用程序压力情况,调整对应的资源使用量,实现资源弹性管理。