spark中进行高维矩阵的SVD分解（1）

最新推荐文章于 2023-08-27 05:49:12 发布

phoebe_IT

最新推荐文章于 2023-08-27 05:49:12 发布

阅读量2.8k

点赞数

分类专栏： spark学习

本文链接：https://blog.csdn.net/u012448083/article/details/50470815

版权

本文介绍了如何使用Spark进行大规模高维矩阵的Singular Value Decomposition（SVD）分解。通过实例展示了在单机和集群环境下运行1万*1万及7万*9万矩阵的性能对比，并探讨了Spark在处理大型数据集时的优势。

摘要由CSDN通过智能技术生成

最近需要做个主题模文档分类，所以牵扯到高维矩阵的分解，初步尝试 7万*9万的矩阵分解，单机是实在无法跑的动，所以选择分布式的处理，来尝试

import java.util.{Date, Locale}
import java.text.DateFormat
import java.text.DateFormat._
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.mllib.linalg.Vector
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.mllib.linalg._
val now1 = new Date //打印开始读数据的时间

//开始读取hdfs的数据 eg：我这里的数据是存放在hdfs的path=“/usr/matrix/title_matrix.txt” 下，分割符是‘，’
val M = new RowMatrix(sc.textFile("hdfs:///usr/matrix/title_matrix.txt").map(_.split(','))
.map(_.map(_.toDouble))
.map(_.toArray).map(line => Vectors.dense(line)))

//对矩阵进行 svd分解并设置输出时的时间
val svd = M.computeSVD(9, true)
val last1 = new Date

//打印输出时的时间
now1
last1

//可以查看奇异值分解的U、D、V

val U = sv