SparkSQL中RDD和DataFrame和DataSet的转换

最新推荐文章于 2024-10-13 17:53:10 发布

wzcwangxiaozhang

最新推荐文章于 2024-10-13 17:53:10 发布

阅读量120

点赞数

分类专栏： big data 文章标签： spark

本文链接：https://blog.csdn.net/qq_37587824/article/details/103210872

版权

big data 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

RDD ——>DF/DS

——DF:

//第一种
rdd.map{
  x=>val pa = x.split(",");(pa(0).trim,pa(1).trim)
}.toDF("name","age")
//-------------------------------------------------------
//第二种
case class People(name:String,age:Integer)
rdd.map{
  x=>val pa=x.split(",");People(pa(0).trim,pa(1).trim)
}.toDF

——DS:

case class People(name:String,age:Integer)
rdd.map{
  x=>val pa=x.split(",");People(pa(0).trim,pa(1).trim)
}.toDS

DF——RDD/DF
- ——RDD: DF.rdd获取值，编译器不校验类型
- ——DS:
```
case class People(name:String,age:Integer)
DF.as[People]
```
DS——RDD/DF
- ——RDD: DS.rdd获取值，编译器校验类型
- ——DF: DS.toDF即可