Spark特点
1、先进架构
Spark采用Scala语言编写,底层采用了actor mode的akka作为通讯框架,代码十分简洁高效。
基于DAG图的执行引擎,减少多次计算之间中间结果写到hdfs的开销。
建立在统一抽象的RDD(分布式内存抽象)之上,使得它可以以基本一致的方式应对不同的大数据处理场景。
2、高效
提供Cache机制来支持需要反复迭代的计算或者多次数据共享,减少数据读取的IO开销。
3、易用
Spark提供广泛的数据集操作类型(20+种),不像Hadoop只提供了Map和Reduce两种操作。
Spark支持Java,Python 和Scala API
4、提供整体解决方案
Spark内存承诺狐狸
Spark SQL交互式处理
Spark Streaming 是建立在Spark上的实时计算框架,通过它提供丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互式查询应用。
Spark MLlib 是Spark对常用的机器学习算法的实现库,同时包括相关的测试和数据生成器。
Spark GraphX 是一个分布式图处理框架,基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口,极大方便了大家对分布式图处理的需求。
5、与Hadoop无缝连接
Spark可以使用YARN作为他的集群管理器
读取HDFS,HBase等一切Hadoop的数据