SVD算法实战应用解析

svd底层是怎么实现的就不去细说了，我们先来谈谈到底可以利用svd来做什么。通过调用svd算法，我们可以得到各个属性的特征值，这个特征值越大对我们判断的影响就越大。特征比较小的时候，我们可以直接忽略该特征进行对事物的判断，判断结果也能比较精准，在这里就体现了svd算的降维。
下面通过调用mlib的svd算法和kmeans算法来，证实svd降维的准确性。
1，首先调用svd算法对数据进行特征值分析：

    object MySVD {
  val conf =new SparkConf().setAppName("Svd").setMaster("local");
  def main(args: Array[String]) {
    test1()
  }

  def test1(): Unit ={
    val sc = new SparkContext(conf)
    // $example on$
    val data = Array(
      Vectors.dense( 5.0,1.0, 1.0, 3.0, 7.0),
      Vectors.dense(2.0, 0.0, 3.0, 4.0, 5.0),
      Vectors.dense(4.0, 0.0, 0.0, 6.0, 7.0),
      Vectors.dense(4.0, 1.0, 0.0, 6.0, 7.0))
    val dataRDD = sc.parallelize(data, 2)
    val mat: RowMatrix = new RowMatrix(dataRDD)

    // Compute the top 5 singular values and corresponding singular vectors.
    val svd: SingularValueDecomposition[RowMatrix, Matrix] = mat.computeSVD(5, computeU = true)
    val U: RowMatrix = svd.U  // The U factor is a RowMatrix.
    val s: Vector = svd.s  // The singular values are stored in a local dense vector.
    val V: Matrix = svd.V  // The V factor is a local dense matrix.


    // $example off$
    val collect = U.rows.collect()
    println("U factor is:")
    collect.foreach { vector => println(vector) }
    println(s"Singular values are: $s")
    println(s"V factor is:\n$V")

  }
}

结果：

Singular values are: [18.07857954647125,2.8132737647378407,2.604276497395555,0.6842486621559452,7.432464828786868E-8]

说明第一个特征和最后一个特征的影响最大，倒数第二个特征几乎没什么影响，所以等下做测试的时候，会拿原数据进行一次kmeans分类,然后去掉倒数第二个特征进行kmeans分类

object TestKmeansSvd {
  def main(args: Array[String]) {
   //beforeSvd()
    Svdkenmans()
  }

  def beforeSvd(): Unit ={
    val conf =new SparkConf().setAppName("k-means").setMaster("local");
    val sc = new SparkContext(conf)
    val data1 = Array(
      Vectors.dense( 5.0,1.0, 1.0, 3.0, 7.0),
      Vectors.dense(2.0, 0.0, 3.0, 4.0, 5.0),
      Vectors.dense(4.0, 0.0, 0.0, 6.0, 7.0),
    Vectors.dense(4.0, 1.0, 0.0, 6.0, 7.0))
    val data = sc.parallelize(data1, 2)
   // val parsedData = data.map(s => Vectors.dense(s.split(',').map(_.toDouble))).cache()
   val parsedData=data
    val numClusters = 2  //将目标数据分成几类
    val numIterations = 20//迭代的次数
    //将参数，和训练数据传入，形成模型
    val clusters = KMeans.train(parsedData, numClusters, numIterations)
    // Evaluate clustering by computing Within Set Sum of Squared Errors
    val WSSSE = clusters.computeCost(parsedData)
    println("Within Set Sum of Squared Errors = " + WSSSE)

    //预测结果
    val result=clusters.predict(data)
    //打印分类结果
    result.foreach(println)
  }

  def Svdkenmans(): Unit ={
    val conf =new SparkConf().setAppName("k-means").setMaster("local");
    val sc = new SparkContext(conf)
    val data1 = Array(
      Vectors.dense(5.0,1.0, 1.0,7.0),
      Vectors.dense(2.0, 0.0, 3.0,5.0),
      Vectors.dense(4.0, 0.0, 0.0,7.0),
      Vectors.dense(4.0, 1.0, 0.0,7.0))
    val data = sc.parallelize(data1, 2)
    // val parsedData = data.map(s => Vectors.dense(s.split(',').map(_.toDouble))).cache()
    val parsedData=data
    val numClusters = 2  //将目标数据分成几类
    val numIterations = 20//迭代的次数
    //将参数，和训练数据传入，形成模型
    val clusters = KMeans.train(parsedData, numClusters, numIterations)
    // Evaluate clustering by computing Within Set Sum of Squared Errors
    val WSSSE = clusters.computeCost(parsedData)
    println("Within Set Sum of Squared Errors = " + WSSSE)

    //预测结果
    val result=clusters.predict(data)
    //打印分类结果
    result.foreach(println)
  }

}

这两次的分类结果相同，说明svd的降维操作还是比较准确的，也可以多做一次测试，去掉第一个特征数据，再对该数据进行分类，结果就不同了。