本文对比了大数据处理框架Spark和Hadoop，Spark作为通用计算框架，包含Spark Core、Spark SQL、Spark Streaming和Spark MLlib等组件，以其速度、易用性和通用性著称，与Hadoop的HDFS和MapReduce协同工作。Hadoop则主要负责数据存储和资源调度，其HDFS和MapReduce构成核心。Spark与Hadoop的区别在于计算原理、数据存储处理方式、速度、恢复性以及处理数据类型上，各有侧重。
1. Spark是什么？
Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。
Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，Spark GraphX用于图计算。
Spark主要用于大数据的计算，而Hadoop以后主要用于大数据的存储（比如HDFS、Hive、HBase等），以及资源调度（Yarn）。
2.Spark整体架构
Spark的特点:
速度快：Spark基于内存进行计算（当然也有部分计算基于磁盘，比如shuffle）。
容易上手开发：Spark的基于RDD的计算模型，比Hadoop的基于Map-Reduce的计算模型要更加易于理解，更加易于上手开发，实现各种复杂功能，比如二次排序、topn等复杂操作时，更加便捷。
超强的通用性：Spark提供了Spark RDD、Spark SQL、Spar
最低0.47元/天 解锁文章
扫一扫
5795
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
