Spark是什么？

目录

 

什么是Spark？

速度

Spark数据处理速度秒杀MapReduce

易用性

通用性

运行环境

版本

---

什么是Spark？

Spark官网地址：http://spark.apache.org/

Apache Spark™是一个用于大规模数据处理的统一分析引擎。

速度

Apache Spark使用最先进的DAG调度器、查询优化器和物理执行引擎，实现了批处理和流式数据的高性能。

 

Spark数据处理速度秒杀MapReduce

Spark因为其处理数据的方式不一样，会比MapReduce快上很多。MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等…“ Booz Allen Hamilton的数据科学家Kirk Borne如此解析。

反观Spark，它会在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，” Born说道。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。

如果需要处理的数据和结果需求大部分情况下是静态的，且你也有耐心等待批处理的完成的话，MapReduce的处理方式也是完全可以接受的。

但如果你需要对流数据进行分析，比如那些来自于工厂的传感器收集回来的数据，又或者说你的应用是需要多重数据处理的，那么你也许更应该使用Spark进行处理。

大部分机器学习算法都是需要多重数据处理的。此外，通常会用到Spark的应用场景有以下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等

易用性

用Java、Scala、Python、R和SQL快速编写应用程序。

Spark提供了80多个高级算子，可以轻松构建并行应用程序。您可以从Scala、Python、R和sqlshell交互使用它。

通用性

组合SQL、流和复杂分析。

Spark为一堆库提供了动力，包括SQL和DataFrames、用于机器学习的MLlib、GraphX和Spark Streaming。您可以在同一个应用程序中无缝地组合这些库。

运行环境

Spark运行在Hadoop、Apache Mesos、Kubernetes、standalone或cloud。它可以访问不同的数据源。

您可以在EC2、Hadoop YARN、Mesos或Kubernetes上使用Spark的Standalone集群模式运行Spark。访问HDFS、ALUXIO、Apache CasdRRA、Apache HBASE、Apache Hive和其他数百个数据源的数据。

版本

http://spark.apache.org/downloads.html，Spark3.0目前还是在试验阶段，还没有投入生产使用，

期待。。。