pyspark.linalg模块学习

最新推荐文章于 2024-08-18 09:54:59 发布

littlely_ll

最新推荐文章于 2024-08-18 09:54:59 发布

阅读量2.7k

点赞数

分类专栏：机器学习 pyspark 文章标签： pyspark linalg模块

本文链接：https://blog.csdn.net/littlely_ll/article/details/78161606

版权

pyspark.ml.linalg模块提供了向量和矩阵类，包括DenseVector、SparseVector、Vectors和DenseMatrix、SparseMatrix。DenseVector支持点积、正则化、非零元素计数等操作；SparseVector具有相同的特性，且优化了存储非零元素。Vectors工厂方法能创建dense和sparse向量，提供计算向量范数和平方距离的功能。DenseMatrix和SparseMatrix则对应稠密和稀疏矩阵，支持转换为其他形式。

摘要由CSDN通过智能技术生成

class pyspark.ml.linalg.Vector

方法

toArray(): 把vector转换为numpy.ndarray

class pyspark.ml.linalg.DenseVector(ar)

v = Vectors.dense([1.0, 2.0])
u = Vectors.dense([3.0, 4.0])
#可以进行加减乘除
v + u  #DenseVector([4.0, 6.0])
v * u #DenseVector([3.0, 8.0])

方法

dot(other): 计算两向量的点积，支持Numpy array, list, SparseVector, Scipy sparse
norm(p)：计算SparseVector的正则化
numNonzeros(): 非零元素个数
size: 向量大小
squared_distance(other)：到Spars