Spark_MLlib_数据类型

一、概述

MLlib支持在单独节点上存储本地向量（local vectors) 和矩阵（matrices），也可以依赖一个或更多的RDD来进行分布式的存储矩阵。本地向量和本地矩阵是作为公共接口的简单的数据模型。底层的线性代数操作由 Breeze 和 jblas 提供。在MLlib中，一个使用监督式学习的训练例子成为“标记点”(labeled point)。

二、本地向量（Local vector）

一个本地向量由一个从0开始的整数类型索引和一个double类型的值组成，被存储在一个单独的机器上。MLlib支持两种类型的本地向量：密集和稀疏。一个密集依靠一个double型数组来代表他的entry值，而一个稀疏型向量依靠两个并行数组：索引数组和值数组。

举个例子，一个向量(1.0,0.0,3.0)，密集型格式表示：[1.0, 0.0, 3.0] ；稀疏型格式表示：(3, [0,2], [1.0, 3.0])，其中的第一个值3是向量的大小。

代码示例：

import org.apache.spark.mllib.linalg.Vector;
import org.apache.spark.mllib.linalg.Vectors;

// Create a dense vector (1.0, 0.0, 3.0).
Vector dv = Vectors.dense(1.0, 0.0, 3.0);
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its indices and values corresponding to nonzero entries.
Vector sv = Vectors.sparse(3, new int[] {0, 2}, new double[] {1.0, 3.0});

本地向量的基类是Vector，源码包提供了两个实现子类：DenseVector and SparseVector. 
推荐使用 Vectors 的工厂方法来创建本地向量。

三、标记点（Labeled point）

标记点（labeled point）是一个本地向量，密集或稀疏，用一个label/response进行关联。在MLlib里，labeled points 是用于监督学习算法。我们使用一个double数来存储一个label，所以我们可以使用labeled points进行回归和分类。在二值分类里，一个label可以是 0（负数）或者 1（正数）。在多值分类中，labels可以是class的索引，从0开始：0,1,2,......

import org.apache.spark.mllib.linalg.Vectors;
import org.apache.spark.mllib.regression.LabeledPoint;

// Create a labeled point with a positive label and a dense feature vector.
LabeledPoint pos = new LabeledPoint(1.0, Vectors.dense(1.0, 0.0, 3.0));

// Create a labeled point with a negative label and a sparse feature vector.
LabeledPoint neg = new LabeledPoint(0.0, Vectors.sparse(3, new int[] {0, 2}, new double[] {1.0, 3.0}));

实际应用，常常会使用稀疏训练数据，MLlib支持读取libsvm格式的训练样例，默认格式是使用LIBSVM和LIBLINEAR。libsvm是一种文本格式，每行表示一个标记的稀疏特征向量。

使用下面格式：

label index1:value1 index2:value2 ...