spark1.0 与spark0.9

1.0 MLlib

分类与回归分析

• 线性支持向量机
• 逻辑回归分析
• 线性最小二乘法, lasso 与 岭回归
• 决策树
• 朴素贝叶斯

协同过虑

• 交替最小二乘
  

聚类

• K-MEAN

降维

• SVD
• PCA

最优化

• 随机梯度下降
• 有限的内存BFGS

1.0 GraphX

算法

• Pagerank
• Connected Components
• Triangle Counting

图支持的操作

• reverse
  
• subgraph
• mask
• groupEdges

SparkSQL

允许SQL，HiveQL, Scala中的关系型查询在spark中执行。

支持parquet的格式