spark dataframe构建方式
1.从Seq序列转为dataframe,使用toDF方法,需要隐式转换
val df = Seq((1,"brr"),(2,"hrr"),(3,"xxr")).toDF("id","name")
df.show()
输出:
| id|name|
+---+----+
| 1| brr|
| 2| hrr|
| 3| xxr|
+---+----+
2.从List转为dataframe,跟Seq序列转为dataframe类似
val df = List((1,"brr"),(2,"hrr"),(3,"xxr")).toDF("id","name")
df.show()
输出:
| id|name|
+

本文介绍了Spark中构建Dataframe的多种方法,包括从Seq、List、RDD转换,使用`toDF`方法和`sparkSession.createDataFrame`,以及通过读取csv、json、jdbc、hive、mysql等数据源创建Dataframe。
最低0.47元/天 解锁文章
4023

被折叠的 条评论
为什么被折叠?



