1、spark是通用大数据处理框架。
2、spark快的原因,内存计算,支持有向无环图DAG,减少迭代过程中的数据落地。
3、SparkSQL:
引入新的RDD类型SchemaRDD,可以像传统数据库定义表一样定义SchemaRDD。
内存列存储:SparkSQL的表数据在内存中存储不是采用原生态的JVM对象存储,而是采用内存列存储。
4、BlinkDB:交互式SQL查询系统,允许用户通过权衡数据精度来提升查询响应时间。
5、MLBase\MLlib:Spark系统中专注于机器学习的组件,目标是机器学习门槛更低。
MLBase的核心是其优化器(ML Optimizer),它可以把声明式的任务转化成复杂的学习计划,最终产出最优的模型和计算结构。
与weka和Mahout不同
a.MLBase基于spark,分布式内存计算,weka单机,Mahout使用MapReduce。
b.MLBase是自动化处理,weka和mahout需要使用者具备机器学习技能,来选择自己想要的算法和参数做处理。
c.MLBase提供了不同抽象程序的接口,可以由用户通过该接口实现算法的扩展。
6、GraphX
Spark中用于图和图并行计算的API,可以认为是GraphLab和Pregel在Spark上的重写及优化。