machine learning on spark
文章平均质量分 95
stark_summer
这个作者很懒,什么都没留下…
展开
-
spark on machine learning--数据类型
机器学习库支持本地向量和矩阵存储在单台机器上, MLlib支持本地的向量和矩阵存储在一个单独的机器,以及分布式矩阵由一个或多个RDD。 本地向量和矩阵作为公共接口的简单的数据模型。 底层由Breeze和jblas提供线性代数操作。 一个训练的例子中使用监督学习在MLlib称为“标记点”(labeled point)本地向量(Local vector)本地向量是由一个整数类型和从零开始的索引,原创 2015-10-05 22:53:02 · 12921 阅读 · 0 评论 -
spark on machine learning--基本统计
汇总统计我们提供列汇总统计RDD(Vector),通过colStats函数中可用的统计信息。 colStats()返回一个MultivariateStatisticalSummary实例,包含列的最大值、最小值、均值、方差和非零的数量以及总数量。import org.apache.spark.mllib.linalg.Vector import org.apache.spark.mllib.sta原创 2015-10-07 22:13:39 · 11842 阅读 · 0 评论