spark dataframe构建方式

本文介绍了Spark中构建Dataframe的多种方法,包括从Seq、List、RDD转换,使用`toDF`方法和`sparkSession.createDataFrame`,以及通过读取csv、json、jdbc、hive、mysql等数据源创建Dataframe。
摘要由CSDN通过智能技术生成

spark dataframe构建方式

1.从Seq序列转为dataframe,使用toDF方法,需要隐式转换

val df = Seq((1,"brr"),(2,"hrr"),(3,"xxr")).toDF("id","name")
df.show()
输出:
| id|name|
+---+----+
|  1| brr|
|  2| hrr|
|  3| xxr|
+---+----+

2.从List转为dataframe,跟Seq序列转为dataframe类似

val df = List((1,"brr"),(2,"hrr"),(3,"xxr")).toDF("id","name")
df.show()
输出:
| id|name|
+
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值