Spark是一个基于内存的开源计算框架
Spark主要应用于大数据的计算,而Hadoop将主要用于大数据的存储(HDFS、HIVE、 Hbase等),Saprk+Hadoop组合,是未来大数据领域最热门的组合.
Apache官方给出的定义是:通用的大数据快速处理引擎
Spsrk使用Spark RDD、Spark SQL、Spark Streaming、Mllib、GraphX成功的解决 了大数据领域中:离线批处理、交互式查询、实时流计算、机器学习与图计算等最 重要的任务和问题
Spark除了一站式的特点之外,另一个最重要的特点,就是基于内存进行计算,从 而让它的速度可以达到MR、Hive的数倍甚至数十倍
Spark特点