Spark只是一个通用计算框架,是一个大一统的软件技术栈,设计方方面面的知识,它的价值在与利用它实现的应用。
Spark vs Apache的MapReduce,基于内存的运算,使得spark的速度更快;丰富的API带来了更强大的易用性;spark不仅仅支持批处理任务,更支持交互式查询、流式计算、机器学习和图形计算等各种应用,满足不同应用场景下的需求。
对应着spark的3个优点:1 易用性,spark封装了高级的API供使用者使用,开发者只需要在自己的笔记本上开发而不用关注集群本身;2 速度快,支持交互式查询和复杂算法;3 它是一个通用的计算引擎,我们不需要在去学习其他的计算引擎,它只是流式计算、机器学习、图形计算等。
Spark技术栈如下: