[MLLib]二、MLLib基本数据类型

MLLib提供了一系列基本数据类型以支持底层的机器学习算法。主要类型包括:本地向量、标注点(Labeled Point)、本地矩阵、分布式矩阵等。单机模式存储的本地向量与矩阵,以及基于一个或多个RDD的分布式矩阵。其中本地向量与本地矩阵作为公共接口提供简单数据模型,底层的线性代数操作有Breeze库和jblas库提供。标注点类型用来表示监督学习(Supervised Leaning)中的一个训练样本。

一、本地向量(Local Vector)

本地向量存储在单机上,拥有整型、从0开始索引值以及浮点型的元素值。MLLib提供了两种类型的本地向量,稠密向量(DenseVector)和稀疏向量(SparseVector)。稠密向量使用一个双精度浮点型数组来表示其中每一维元素,而稀疏向量则是基于一个整型索引数组和一个双精度浮点型的值数组。例如,向量(1.0, 0.0, 3.0)的稠密向量表示形式是[1.0, 0.0, 3.0],而稀疏向量形式则是(2, [0,2], [1.0, 3.0]),其中3是向量的长度,[0,2]是向量中非0维度的索引值,表示位置0、2两个元素为非零值,而[1.0, 3.0]则是按索引排列的数组元素值。

所有本地向量都以org.apache.spark.mllib.linalg.Vector为基类,DenseVector和SparseVector分别是它的两个实现类,推荐使用Vectors工具类下定义的工厂方法来创建本地向量。示例如下:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值