Spark ML常见异常【Vector】

一.常见分析

在Spark 机器学习中，Vector向量和Metricx矩阵是最常用的两种数据类型。特别是Vector向量类型，在使用Vector向量类型时，默认是不会导入Spark定义的Vector类型的。默认使用scala.collection.immutable.Vector，此时使用Spark ml算法就会报类型异常。
代码：

val (meanVal, varianceVal) = df.select(metrics("mean", "variance").summary($"features", $"weight").as("summary"))
  .select("summary.mean", "summary.variance")
  .as[(Vector, Vector)]
  .first()

异常信息：

Error:(31, 9) constructor cannot be instantiated to expected type;
 found   : (T1, T2)
 required: (Vector, Vector)
    val (meanVal, varianceVal) = df.select(metrics("mean", "variance").summary($"features", $"weight").as("summary"))
        ^

二.解决方案

导入对应的spark包Vector向量即可。

• 使用ml算法

  import org.apache.spark.ml.linalg.Vector
  

• 使用mllib算法

  import org.apache.spark.mllib.linalg.Vector