将RDD[vector]转化成DataFrame

最新推荐文章于 2021-11-26 02:40:16 发布

怀梦远航

最新推荐文章于 2021-11-26 02:40:16 发布

阅读量3.9k

点赞数

分类专栏： Spark知识文章标签： RDDvector转化DataFrame

本文链接：https://blog.csdn.net/cqupt0901/article/details/52775369

版权

2 篇文章 1 订阅

订阅专栏

  机器学习中的feature是vector，有时我们在得到RDD[Vector]后，想给feature添加索引，然后转化成DataFrame，这样我们可以根据id来知道某一个feature对应是哪一个样本。根据index来取就方便很多。 

  实现： 

  val us = feature. 
 zipWithIndex()//feature是机器学习需要的特征构成的RDD，每一行是一个向量 

 
 //然后想将us转化成DataFrame 

  import sqlContext.implicits._ 

  val feature_id_df = us.toDF("feature","idx") 

  feature_id_df.show() 

  结果如下：可以看到转化成DataFrame成功，这样feature这列里，每一个元素是一个vector 

  +--------------------+---+ 

  | feature|idx| 

  +--------------------+---+ 

  |[-0.0053878752434...| 0| 

  |[0.0,0.0,0.0,0.0,...| 1| 

  |[0.0,0.0,0.0,0.0,...| 2| 

  |[-0.6586770731223...| 3| 

  |[-4.6345469988407...| 4| 

  |[-0.2932194136260...| 5| 

  |[-0.7839843928883...| 6| 

关注