http://spark.apache.org/docs/1.6.3/mllib-data-types.html
Local Vector
有两种:dense、sparse
For example, a vector (1.0, 0.0, 3.0) can be represented in dense format as [1.0, 0.0, 3.0] or in sparse format as (3, [0, 2], [1.0, 3.0]), where 3 is the size of the vector.
import org.apache.spark.mllib.linalg.{Vector,Vectors}
// Create a dense vector (1.0, 0.0, 3.0).
val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its indices and values corresponding to nonzero entries.
val sv1: Vector = Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0))
// Create a sparse vector (1.0, 0.0, 3.0) by specifying its nonzero entries.
val sv2: Vector = Vectors.sparse(3, Seq((0, 1.0), (2, 3.0)))
Labeled point
本身也是一个local vector,但有label。常用在监督学习算法里。多分类问题,lable必须从0开始,0,1,2,。。。
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint
// Create a labeled point with a positive label and a dense feature vector.
val pos = LabeledPoint(1.0, Vectors.dense(1.0, 0.0, 3.0))
也分稠密矩阵与 稀疏矩阵。
import org.apache.spark.mllib.linalg.{Matrix, Matrices}
// Create a dense matrix ((1.0, 2.0), (3.0, 4.0), (5.0, 6.0)),按列存放
val dm: Matrix = Matrices.dense(3, 2, Array(1.0, 3.0, 5.0, 2.0, 4.0, 6.0))
// Create a sparse matrix ((9.0, 0.0), (0.0, 8.0), (0.0, 6.0))
val sm: Matrix = Matrices.sparse(3, 2, Array(0, 1, 3), Array(0, 2, 1), Array(9, 6, 8))
// 第一个Array表示从第几个元素开始新起一列存放,第二个Array表示非零元素的行号,第三个Array表示非零元素的值。
第一种:RowMatrix,
按行存放的,每行是Local Vector。所以列数受限于integer的范围。
我们可以对每列进行统计描述,还可以进行QR分解。在SVD、PCA中有用到。
import org.apache.spark.mllib.linalg.Vector
import org.apache.spark.mllib.linalg.distributed.RowMatrix
val rows: RDD[Vector] = ... // an RDD of local vectors
// Create a RowMatrix from an RDD[Vector].
val mat: RowMatrix = new RowMatrix(rows)
// QR decomposition
val qrResult = mat.tallSkinnyQR(true)
第三种:CoordinateMatrix
只适用于matrix的维度比较大,并且很稀疏。
Each entry is a tuple of (i: Long, j: Long, value: Double), where i is the row index, j is the column index, and value is the entry value.
第四种 BlockMatrix
PS。如何将RDD中的类型转换成自己想要的?
答:利用map,对每行数据进行类型转换。
import org.apache.spark.mllib.linalg.{Vector,Vectors}
val m1 = sc.textFile("/user/hadoop-generalshop/caiqi.sun/spark/ml/matrix.txt").map{ r =>
val row = r.split(" ").map(_.toDouble)
(Vectors.dense(row))
}
PPS。如何创建RDD?
2)从父RDD转换得到新RDD。
3)通过parallelize或makeRDD将单机数据创建为分布式RDD。