用pyspark学习《应用预测建模》（三）PCA

最新推荐文章于 2023-05-14 17:21:15 发布

littlehuangnan

最新推荐文章于 2023-05-14 17:21:15 发布

阅读量620

点赞数

文章标签：学习 spark scala

本文链接：https://blog.csdn.net/littlehuangnan/article/details/126566629

版权

本文探讨了如何使用Spark的Scala实现PCA（主成分分析），这是一种无监督的降维方法。文章指出，虽然Spark SQL的抽象度较高，但PCA主要依赖于RDD。在Spark中，PCA通过调用mllib.feature.PCA并利用RowMatrix的computePrincipalComponentsAndExplainedVariance方法，该方法基于SVD（奇异值分解）。作者提到了，对于特征数量小于65535的情况，Breeze库的SVD用于对协方差矩阵进行对角化。对比scikit-learn的PCA实现，Spark的实现略显不同，它不直接对原矩阵进行SVD，而是先计算协方差矩阵。尽管如此，两者的SVD底层都依赖于LAPACK等线性代数库。

摘要由CSDN通过智能技术生成

在前面的文章中，用到了PCA，主成分分析，一种无监督降维的方法。我们来看看spark实现pca的代码。spark主要是用scala实现的，scala这门语言很奇特，spark rdd可读性还可以，但是spark sql抽象程度大大提升，阅读难度较大。好在spark sql的pca也是借助rdd实现的。

import org.apache.spark.mllib.feature

override def fit(dataset: Dataset[_]): PCAModel = {
    transformSchema(dataset.schema, logging = true)
    val input = dataset.select($(inputCol)).rdd.map {
      case Row(v: Vector) => OldVectors.fromML(v)
    }
    val pca = new feature.PCA(k = $(k))
    val pcaModel = pca.fit(input)
    copyValues(new PCAModel(uid, pcaModel.pc.asML, pcaModel.explainedVariance.asML)
      .setParent(this))
  }

看到调用了mllib.feature.PCA

val mat = if (numFeatures > 65535) {
  val summary = Statistics.colStats(sources.map((_, 1.0)), Seq("mean"))
  val mean = Vectors.fromML(summary.mean)
  val meanCenteredRdd = sources.map { row =>
    BLAS.axpy(-1, mean, row)
    row
  }
  new RowMatrix(meanCenteredRdd)
} else {
  require(PCAUtil.memoryCost(k, numFeatures) < Int.MaxValue,
    "The param k and numFeatures is too large for SVD computation. " +
      "Try reducing the parameter k for PCA, or reduce the inpu