1. SparkMllib简介及功能介绍
MLLIB是Spark的机器学习库。提供了利用Spark构建大规模和易用性的机器学习平台,组件:
(1) ML 算法:包括了分类、回归、聚类、降维、协同过滤
(2) Featurization特征化:特征抽取、特征转换、特征降维、特征选择
(3) Pipelines管道:tools for constructing, evaluating, and tuning ML Pipelines
(4) Persistence持久化:模型的保存、读取、管道操作
(5) Utilities:提供了线性代数、统计学以及数据处理工具
2. SparkML版本变迁
通过官网了解SparkMllib的版本:
- 基于DataFrame的API是主要API
- Spark ml基于DataFrame的API
- Spark mllib基于RDD的API
- 基于MLlib RDD的API现在处于维护模式。
从Spark 2.0开始,软件包中基于RDD的API Spark.mllib已进入维护模式。Spark的主要机器学习API现在是包中基于DataFrame的API Spark.ml。究竟两者有什么区别呢?
3. SparkMllib架构详解
MLlib是Spark机器学习库,它是MLBase的一部分,MLBase一共分为一下4部分:
<