spark:rdd 转换dataframe报错: Array takes type parameters；toDF is not a member of org.apache.spark.rdd

最新推荐文章于 2022-08-20 11:40:10 发布

sisiel

最新推荐文章于 2022-08-20 11:40:10 发布

阅读量896

点赞数

分类专栏： scala spark 文章标签： spark scala

本文链接：https://blog.csdn.net/sisiel/article/details/111535630

版权

2 篇文章 0 订阅

订阅专栏

2 篇文章 0 订阅

订阅专栏

tdf4.select("id").rdd.map(x=>Array(x(0),cmls)).toDF("id","cmls").show()

试图构造上述dataframe,其中cmls是个array[any]

此时报错：

value toDF is not a member of org.apache.spark.rdd.RDD[Array[Any]]

尝试了网上的 import sqlContext.implicits._. 不行后，发现是由于这个方法只针对下面几种格式:

后来改成

tdf4.select("id").rdd.map(x=>Array(x(0),cmls)).map({ 
  case Array(val1: String, val2: Array) => (val1, val2)
}).toDF("id","cmls")

报错Array takes type parameters

这是因为Array后面要指定类型，故改为

tdf4.select("id").rdd.map(x=>Array(x(0),cmls)).map({ 
  case Array(val1: String, val2: Array[String]) => (val1, val2)
}).toDF("id","cmls")

关注