spark ml特征工程之主成分分析（pca）

最新推荐文章于 2024-05-10 09:12:55 发布
最新推荐文章于 2024-05-10 09:12:55 发布
阅读量1.1k 收藏 6
点赞数 1
分类专栏： spark特征工程 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunyiyuan1213/article/details/89238277
版权

简介

主成分分析（PCA）是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。spark ML特体相应的AP进行处理。

实战

1.spark工程的pom文件引用

  <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <scala.version>2.11</scala.version>
        <spark.version>2.3.0</spark.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
    </dependencies>
 

​​​​​2.测试数据准备

        spark ml的基本以dataframe的方式处理数据，可以直接从hive中获取dataframe计算。为了演示方便，手动创建dataframe

val spark: SparkSession = SparkSession.builder().appName("SparkSql").master("local[2]").getOrCreate()
    //准备示例数据，将数据转为dataframe
    import spark.implicits._
    val dataList: List[(Int, Double, Double, Double, Double, Double, Double)] = List(
      (0, 8.9255, -6.7863, 11.9081, 5.093, 11.4607, -9.2834),
      (0, 11.5006, -4.1473, 13.8588, 5.389, 12.3622, 7.0433),
      (0, 8.6093, -2.7457, 12.0805, 7.8928, 10.5825, -9.0837),
      (0, 11.0604, -2.1518, 8.9522, 7.1957, 12.5846, -1.8361),
      (1, 9.8369, -1.4834, 12.8746, 6.6375, 12.2772, 2.4486),
      (1, 11.4763, -2.3182, 12.608, 8.6264, 10.9621, 3.5609),
      (0, 11.8091, -0.0832, 9.3494, 4.2916, 11.1355, -8.0198),
      (0, 13.558, -7.9881, 13.8776, 7.5985, 8.6543, 0.831),
      (0, 16.1071, 2.4426, 13.9307, 5.6327, 8.8014, 6.163),
      (1, 12.5088, 1.9743, 8.896, 5.4508, 13.6043, -16.2859),
      (0, 5.0702, -0.5447, 9.59, 4.2987, 12.391, -18.8687),
      (0, 12.7188, -7.975, 10.3757, 9.0101, 12.857, -12.0852),
      (0, 8.7671, -4.6154, 9.7242, 7.4242, 9.0254, 1.4247),
      (1, 16.3699, 1.5934, 16.7395, 7.333, 12.145, 5.9004),
      (0, 13.808, 5.0514, 17.2611, 8.512, 12.8517, -9.1622),
      (0, 3.9416, 2.6562, 13.3633, 6.8895, 12.2806, -16.162),
      (0, 5.0615, 0.2689, 15.1325, 3.6587, 13.5276, -6.5477),
      (0, 8.4199, -1.8128, 8.1202, 5.3955, 9.7184, -17.839),
      (0, 4.875, 1.2646, 11.919, 8.465, 10.7203, -0.6707),
      (0, 4.409, -0.7863, 15.1828, 8.0631, 11.2831, -0.7356))

    val inputDF: DataFrame = dataList.toDF("target", "feature1", "feature2", "feature3", "feature4", "feature5", "feature6")
    inputDF.show()

3.将为字段转为向量

     pca算法转换的是特征向量，需要将降维的字段转为向量字段（转换向量的字段必须为数字类型）。

    val transCols: Array[String] = Array("feature1", "feature2", "feature3", "feature4", "feature5", "feature6")
    val assembler: VectorAssembler = new VectorAssembler().setInputCols(transCols).setOutputCol("fea_vector")
    val vectorDf: DataFrame = assembler.transform(inputDF)

4.pca转换

    调用ml 下的PCA进行降为转换，K值小于等于降维字段个数。

    val pca: PCA = new PCA().setInputCol("fea_vector").setOutputCol("fea_pca_vector").setK(6)
    val pcaDf: DataFrame = pca.fit(vectorDf).transform(vectorDf).drop("fea_vector")
    pcaDf.show(100)

运行结果

+------+--------+--------+--------+--------+--------+--------+--------------------+--------------------+
|target|feature1|feature2|feature3|feature4|feature5|feature6|          fea_vector|      fea_pca_vector|
+------+--------+--------+--------+--------+--------+--------+--------------------+--------------------+
|     0|  8.9255| -6.7863| 11.9081|   5.093| 11.4607| -9.2834|[8.9255,-6.7863,1...|[5.37827793617585...|
|     0| 11.5006| -4.1473| 13.8588|   5.389| 12.3622|  7.0433|[11.5006,-4.1473,...|[-11.007146502429...|
|     0|  8.6093| -2.7457| 12.0805|  7.8928| 10.5825| -9.0837|[8.6093,-2.7457,1...|[5.20471538182984...|
|     0| 11.0604| -2.1518|  8.9522|  7.1957| 12.5846| -1.8361|[11.0604,-2.1518,...|[-1.6205023579940...|
|     1|  9.8369| -1.4834| 12.8746|  6.6375| 12.2772|  2.4486|[9.8369,-1.4834,1...|[-6.0466221528193...|
|     1| 11.4763| -2.3182|  12.608|  8.6264| 10.9621|  3.5609|[11.4763,-2.3182,...|[-7.6342080203012...|
|     0| 11.8091| -0.0832|  9.3494|  4.2916| 11.1355| -8.0198|[11.8091,-0.0832,...|[4.29214674176063...|
|     0|  13.558| -7.9881| 13.8776|  7.5985|  8.6543|   0.831|[13.558,-7.9881,1...|[-5.9564493908368...|
|     0| 16.1071|  2.4426| 13.9307|  5.6327|  8.8014|   6.163|[16.1071,2.4426,1...|[-11.025959785947...|
|     1| 12.5088|  1.9743|   8.896|  5.4508| 13.6043|-16.2859|[12.5088,1.9743,8...|[12.3480102757833...|
|     0|  5.0702| -0.5447|    9.59|  4.2987|  12.391|-18.8687|[5.0702,-0.5447,9...|[16.1266643342444...|
|     0| 12.7188|  -7.975| 10.3757|  9.0101|  12.857|-12.0852|[12.7188,-7.975,1...|[7.34400328544611...|
|     0|  8.7671| -4.6154|  9.7242|  7.4242|  9.0254|  1.4247|[8.7671,-4.6154,9...|[-4.7371370904251...|
|     1| 16.3699|  1.5934| 16.7395|   7.333|  12.145|  5.9004|[16.3699,1.5934,1...|[-11.193626843428...|
|     0|  13.808|  5.0514| 17.2611|   8.512| 12.8517| -9.1622|[13.808,5.0514,17...|[3.88645081933627...|
|     0|  3.9416|  2.6562| 13.3633|  6.8895| 12.2806| -16.162|[3.9416,2.6562,13...|[13.1767302316998...|
|     0|  5.0615|  0.2689| 15.1325|  3.6587| 13.5276| -6.5477|[5.0615,0.2689,15...|[3.56307341821141...|
|     0|  8.4199| -1.8128|  8.1202|  5.3955|  9.7184| -17.839|[8.4199,-1.8128,8...|[14.4037358280618...|
|     0|   4.875|  1.2646|  11.919|   8.465| 10.7203| -0.6707|[4.875,1.2646,11....|[-1.9500646332272...|
|     0|   4.409| -0.7863| 15.1828|  8.0631| 11.2831| -0.7356|[4.409,-0.7863,15...|[-2.3260546476231...|

5.降维后的向量列展开

      降维后的字段以向量字段的形式存在，为了方便储存及查看，将向量字段转开为多个字段。

    //将pca转换的向量列，展开为多个字段
    val keepCols: Array[Column] = inputDF.schema.fieldNames.map(colName => $"$colName")
    //将vector转为arr的udf
    val vecToArray = udf((xs: DenseVector) => xs.toArray)
    //引用udf
    val arrayCols: Array[Column] = Array(vecToArray($"fea_pca_vector").alias("fea_pca_array"))
    val arrayDf: DataFrame = pcaDf.select((keepCols ++ arrayCols): _*)

    //4.将array拆分为多个字段
    val strings: Array[String] = Array.tabulate(6)(i => "c" + (i + 1))
    val extendExprs: Array[Column] = strings.zipWithIndex.map { case (newCols, index) => {
      $"fea_pca_array".getItem(index).alias(newCols)
    }
    }
    val pcaTransDf: DataFrame = arrayDf.select((keepCols ++ extendExprs): _*)
    pcaTransDf.show(100)

运行结果

+------+--------+--------+--------+--------+--------+--------+-------------------+--------------------+------------------+------------------+--------------------+------------------+
|target|feature1|feature2|feature3|feature4|feature5|feature6|                 c1|                  c2|                c3|                c4|                  c5|                c6|
+------+--------+--------+--------+--------+--------+--------+-------------------+--------------------+------------------+------------------+--------------------+------------------+
|     0|  8.9255| -6.7863| 11.9081|   5.093| 11.4607| -9.2834|  5.378277936175852|  0.8085996977489435| 9.765071394094718|17.767701575832902|  3.0316488808403053|7.8211656429027165|
|     0| 11.5006| -4.1473| 13.8588|   5.389| 12.3622|  7.0433|-11.007146502429592| -2.3872999387657505|  9.21100353534196|  16.0850321635918|  3.6911686117456326|  9.43141416460013|
|     0|  8.6093| -2.7457| 12.0805|  7.8928| 10.5825| -9.0837|  5.204715381829842| -2.7756558119271997|  9.71398321887668| 17.07361313534964|-0.39201897316702417| 7.973697841675099|
|     0| 11.0604| -2.1518|  8.9522|  7.1957| 12.5846| -1.8361|-1.6205023579940805| -2.3148666738460997|10.903262101103776|13.192584362140138|  0.7156899703956436|10.918051142890702|
|     1|  9.8369| -1.4834| 12.8746|  6.6375| 12.2772|  2.4486| -6.046622152819378|  -4.472306164358786| 8.734728668947925|15.333588676013058|   1.771778594153545| 9.715209853692036|
|     1| 11.4763| -2.3182|  12.608|  8.6264| 10.9621|  3.5609| -7.634208020301263|  -3.298607269322372| 10.05930898454645|15.646780327003022| -0.3532640057636149| 9.381120923946531|
|     0| 11.8091| -0.0832|  9.3494|  4.2916| 11.1355| -8.0198|  4.292146741760639|  -4.173413568817214|12.929572248105465|12.716368366095086|   2.268932713373908| 7.983708736657731|
|     0|  13.558| -7.9881| 13.8776|  7.5985|  8.6543|   0.831| -5.956449390836877|  1.8014434282316747|12.099846366855708| 18.63170093453373|   0.681252772624825| 6.387989056319241|
|     0| 16.1071|  2.4426| 13.9307|  5.6327|  8.8014|   6.163|-11.025959785947084|  -7.706429472765043|14.300253341844073| 13.49356798431484|   1.147005938548894| 6.147666083861472|
|     1| 12.5088|  1.9743|   8.896|  5.4508| 13.6043|-16.2859|   12.3480102757833|  -6.105331616136972|15.459834514071053|13.698355324238221|  1.5642340813740612|10.033883091967365|
|     0|  5.0702| -0.5447|    9.59|  4.2987|  12.391|-18.8687| 16.126664334244463|   -4.32289470160106| 8.451683445406559|14.892389300334058|   2.323784782195987| 8.285189165700926|
|     0| 12.7188|  -7.975| 10.3757|  9.0101|  12.857|-12.0852|  7.344003285446111|  2.6089831541951822| 14.05660334439746|18.847036921603753| 0.03607053558529383|10.583887860088282|
|     0|  8.7671| -4.6154|  9.7242|  7.4242|  9.0254|  1.4247| -4.737137090425153|-0.01518501667156...| 7.743220582764422|13.639363318603786|-0.34387047342556865| 7.923493173409812|
|     1| 16.3699|  1.5934| 16.7395|   7.333|  12.145|  5.9004|-11.193626843428998|  -8.380724459009917|14.498466590233898| 17.29305570070696|  1.5791796375873906| 8.917909079406792|
|     0|  13.808|  5.0514| 17.2611|   8.512| 12.8517| -9.1622| 3.8864508193362752| -11.872944341915899|15.201248427589983|19.335416786167627|-0.21452670708261612| 8.639195554128658|
|     0|  3.9416|  2.6562| 13.3633|  6.8895| 12.2806| -16.162| 13.176730231699892|  -8.668643514047263| 6.907720843075445|17.200330799510507| 0.20024961849351852| 8.263068422760218|
|     0|  5.0615|  0.2689| 15.1325|  3.6587| 13.5276| -6.5477| 3.5630734182114168|  -7.391453929939899| 5.861647300248105| 17.28456634835369|   4.592966545668411| 8.508730836924814|
|     0|  8.4199| -1.8128|  8.1202|  5.3955|  9.7184| -17.839| 14.403735828061878|  -2.048230528664273| 11.45105892146462|13.916717603332888| 0.35105723396700206| 6.731966513698952|
|     0|   4.875|  1.2646|  11.919|   8.465| 10.7203| -0.6707|-1.9500646332272775|  -6.616776359507901| 4.730122194108645|14.172039600382977| -1.2902512357868443| 9.054739235175216|
|     0|   4.409| -0.7863| 15.1828|  8.0631| 11.2831| -0.7356|-2.3260546476231543|  -6.092097719226293|3.9991882958691547| 17.67278820500946| 0.14672873361657204| 8.518881087294343|
+------+--------+--------+--------+--------+--------+--------+-------------------+--------------------+------------------+------------------+--------------------+------------------+

完整代码如下

import org.apache.spark.ml.feature.{PCA, VectorAssembler}
import org.apache.spark.ml.linalg.DenseVector
import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.{Column, DataFrame, SparkSession}

/**
  * author     ：
  * date       ：Created in 2019/4/11 17:15
  * description：${description}
  * modified By：
  */

object PCADemo {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().appName("SparkSql").master("local[2]").getOrCreate()
    //准备示例数据，将数据转为dataframe
    import spark.implicits._
    val dataList: List[(Int, Double, Double, Double, Double, Double, Double)] = List(
      (0, 8.9255, -6.7863, 11.9081, 5.093, 11.4607, -9.2834),
      (0, 11.5006, -4.1473, 13.8588, 5.389, 12.3622, 7.0433),
      (0, 8.6093, -2.7457, 12.0805, 7.8928, 10.5825, -9.0837),
      (0, 11.0604, -2.1518, 8.9522, 7.1957, 12.5846, -1.8361),
      (1, 9.8369, -1.4834, 12.8746, 6.6375, 12.2772, 2.4486),
      (1, 11.4763, -2.3182, 12.608, 8.6264, 10.9621, 3.5609),
      (0, 11.8091, -0.0832, 9.3494, 4.2916, 11.1355, -8.0198),
      (0, 13.558, -7.9881, 13.8776, 7.5985, 8.6543, 0.831),
      (0, 16.1071, 2.4426, 13.9307, 5.6327, 8.8014, 6.163),
      (1, 12.5088, 1.9743, 8.896, 5.4508, 13.6043, -16.2859),
      (0, 5.0702, -0.5447, 9.59, 4.2987, 12.391, -18.8687),
      (0, 12.7188, -7.975, 10.3757, 9.0101, 12.857, -12.0852),
      (0, 8.7671, -4.6154, 9.7242, 7.4242, 9.0254, 1.4247),
      (1, 16.3699, 1.5934, 16.7395, 7.333, 12.145, 5.9004),
      (0, 13.808, 5.0514, 17.2611, 8.512, 12.8517, -9.1622),
      (0, 3.9416, 2.6562, 13.3633, 6.8895, 12.2806, -16.162),
      (0, 5.0615, 0.2689, 15.1325, 3.6587, 13.5276, -6.5477),
      (0, 8.4199, -1.8128, 8.1202, 5.3955, 9.7184, -17.839),
      (0, 4.875, 1.2646, 11.919, 8.465, 10.7203, -0.6707),
      (0, 4.409, -0.7863, 15.1828, 8.0631, 11.2831, -0.7356))

    val inputDF: DataFrame = dataList.toDF("target", "feature1", "feature2", "feature3", "feature4", "feature5", "feature6")
    inputDF.show()
    //将需要转换的列合并为向量列
    val transCols: Array[String] = Array("feature1", "feature2", "feature3", "feature4", "feature5", "feature6")
    val assembler: VectorAssembler = new VectorAssembler().setInputCols(transCols).setOutputCol("fea_vector")
    val vectorDf: DataFrame = assembler.transform(inputDF)
    //调用ml包中的PCA()
    val pca: PCA = new PCA().setInputCol("fea_vector").setOutputCol("fea_pca_vector").setK(6)
    val pcaDf: DataFrame = pca.fit(vectorDf).transform(vectorDf)
    pcaDf.show(100)

    //将pca转换的向量列，展开为多个字段
    val keepCols: Array[Column] = inputDF.schema.fieldNames.map(colName => $"$colName")
    //将vector转为arr的udf
    val vecToArray = udf((xs: DenseVector) => xs.toArray)
    //引用udf
    val arrayCols: Array[Column] = Array(vecToArray($"fea_pca_vector").alias("fea_pca_array"))
    val arrayDf: DataFrame = pcaDf.select((keepCols ++ arrayCols): _*)

    //4.将array拆分为多个字段
    val strings: Array[String] = Array.tabulate(6)(i => "c" + (i + 1))
    val extendExprs: Array[Column] = strings.zipWithIndex.map { case (newCols, index) => {
      $"fea_pca_array".getItem(index).alias(newCols)
    }
    }
    val pcaTransDf: DataFrame = arrayDf.select((keepCols ++ extendExprs): _*)
    pcaTransDf.show(100)


  }
}

 

test-abc
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark ML基本算法【ChiSquareTest卡方检验】
踏雪无痕
07-02 1529
一.简介 假设检验是一种强大的统计工具，可用来确定结果是否具有统计学意义，以及该结果是否偶然发生。spark.ml当前支持Pearson的卡方测试独立性。 ChiSquareTest针对标签上的每个功能进行Pearson的独立性测试。对于每个要素，（要素，标签）对将转换为列联矩阵，针对该列矩阵计算卡方统计量。所有标签和特征值必须是分类的。 二.代码实战 package spark2.ml import org.apache.log4j.{Level, Logger} import org.apache.s
Spark-机器学习PCA降维10
qq_42722387的博客
06-14 198
Spark-机器学习PCA降维10
2024年最新【Spark ML】（二）Spark ML 分类算法_spark分类算法(1)，View的这些基础知识你必须要知道
2401_84182906的博客
05-10 850
主要讲Spark ML中关于分类算法的实现。示例的算法Demo包含：LR、DT、RF、GBTs、多层感知器、线性支持向量机、One-vs-Rest分类器以及NB等。
Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
yirenboy的专栏
09-11 8560
- “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 - “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and perform
深入理解Spark ML：基于ALS矩阵分解的协同过滤算法与源码分析
热门推荐
06-26 3万+
http://blog.csdn.net/u011239443/article/details/51752904随着互联网的迅猛发展,为了满足人们在繁多的信息中获取自己需要内容的需求,个性化推荐应用而生。协同过滤推荐是其中运用最为成功的技术之一。其中,基于用户的最近邻法根据相似用户的评分来预测当前用户的评分。然而,在用户数量以及用户评分不足的情况下,该方法存在冷启动和数据稀疏的问题。为了解决这两个问题，业界提出了提出了基于项的最近邻法，利用项之间相似性稳定的特点可以离线计算相似性,降低了在线计算量,提高了推
【Spark】分类和回归算法-分类
buracag_mc的博客
09-03 1138
同步于Buracag的博客 本节主要讲Spark ML中关于分类算法的实现。示例的算法Demo包含：LR、DT、RF、GBTs、多层感知器、线性支持向量机、One-vs-Rest分类器以及NB等。 文章目录1. Logistic regression1.1 二分类LR1.2 多分类LR2. 决策树分类器3. 随机森林分类器4. 梯度提升树分类器5. 多层感知器分类器6. 线性支持向量机7. One...
SparkML（一）
nntcdhl的博客
02-08 2054
什么是机器学习 百度： 机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。 在我看来机器学习就是给你的计算机一套逻辑（建模训练），让他根据这套逻辑去对数据进行处理（测试）。 Spark ML Spark MLlib是Spark的机器学习（ML）库。它的目标是使实用的机器学习可扩展且容易 数据处理 spark ML有2种类型局部向量：dense和sparse。 稠
spark.ml支持算法总结
leemusk的博客
12-18 2916
一、分类 1、Logistic regression 1.1 适用的数据 逻辑回归通常用于处理自变量是连续变量，因变量是分类变量的回归问题。 1.2 代码机器结果
机器学习之主成分分析PCA数据降维
01-20
主成分分析经常用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而...
matlab 实现主成分分析（PCA）
06-04
基于matlab实现PCA降维算法，可用于多维数据的损失最小化压缩，内附全代码
PCA.rar_pca_主成分PCA分析_主成分分析_主成分分析pca_特征降维
09-23
PCA主成分分析，提取主特征，降维处理
基于Spark的主成分分析和因子分析并行化的研究与实现.zip
01-11
基于Spark的主成分分析和因子分析并行化的研究与实现.zip
python主成分分析PCA完整代码以及结果图片
03-13
python主成分分析PCA完整代码以及结果图片
pca_pca_主成分分析pca_
10-03
运用pca进行主成分分析，对数据进行降维处理，实现故障检测
探秘SparkML：高效大数据处理与机器学习框架
gitblog_00049的博客
04-01 328
探秘SparkML：高效大数据处理与机器学习框架 项目地址:https://gitcode.com/linzhouzhi/SparkML SparkML 是一个基于Apache Spark的机器学习库，旨在简化大规模数据集上的预测模型构建和实验过程。这个开源项目提供了统一的API，让数据科学家和工程师能够轻松地进行机器学习任务。 项目简介 SparkML是一个建立在Spark SQL DataFr...
SparkML之特征提取（一）主成分分析(PCA)
legotime的博客
07-06 7939
主成分分析(Principal Component Analysis，PCA)， 将多个变量通过线性变换以选出较少个数重要变量的一种多 元统计分析方法. --------------------------------------------目录-------------------------------------------------------- 理论和数据见附录 Spark 源
PCA主成份分析（Spark 2.0）
qq_34531825的博客
08-28 4436
Spark 2.0 Scikit PCA 主成分个数选择
spark SQL入门指南《读书笔记》
Tesi1a的充电桩
10-06 759
spark SQL入门指南 第一章 ETL （数据仓库技术） ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 ...
推荐系统之CTR_Torch代码解析
张先生－您好的博客
11-10 1211
DeepCTR_Torch 代码解析（基于Wide&Deep网络） import pandas as pd import torch from sklearn.metrics import log_loss, roc_auc_score from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder, MinMaxScaler from deepctr_torch.
pca主成分分析 PCA库
最新发布
05-17
PCA（Principal Component Analysis）主成分分析是一种常用的数据降维方法，它可以将高维数据集转化为低维数据集，同时尽可能地保留原始数据的信息。PCA主要通过计算样本数据协方差矩阵的特征值和特征向量，从而得到数据的主成分（即方差最大的特征）。 PCA库是指在编程语言中提供的用于实现PCA算法的函数库，一些常见的PCA库有： 1. Scikit-learn：是Python语言中最常用的机器学习库之一，提供了PCA分析的实现； 2. Eigen：是C++语言中一个高效的线性代数库，也提供了PCA分析的实现； 3. Matlab：是一种常用的科学计算软件，它内置了PCA分析函数。 如果您需要使用PCA进行数据分析，可以根据您的编程语言和具体需求选择合适的PCA库进行使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值