Spark是一个提供分布式计算、内存计算和高容错性的大数据处理框架。它支持批处理、流处理、SQL查询、图计算和机器学习等多种计算范式，可在多个运行模式下运行，如local、standalone、yarn和mesos。Spark以其高效的DAG优化和RDD抽象实现快速处理，并通过Lineage实现容错。此外，其广泛兼容性、易用性和活跃社区也是其显著优势。
Spark是基于内存计算的大数据分布式计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。
1.提供分布式计算功能，将分布式存储的数据读入，同时将任务分发到各个节点进行计算；
2.基于内存计算，将磁盘数据读入内存，将计算的中间结果保存在内存，这样可以很好的进行迭代运算；
3.支持高容错；
4.提供多计算范式；
2009年：诞生于AMPLab
2010年：开源
2013年6月：Apache孵化器项目
最低0.47元/天 解锁文章
扫一扫
4064
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
