LearningSpark(8)：RDD如何转化为DataFrame

最新推荐文章于 2024-03-12 15:18:13 发布

lzw2016

最新推荐文章于 2024-03-12 15:18:13 发布

阅读量1.1k

点赞数

分类专栏： Hadoop及Spark学习 # Learning Spark

本文链接：https://blog.csdn.net/lzw2016/article/details/88219754

版权

本文介绍了将Spark中的RDD转换为DataFrame的两种方法：一是基于反射推断，利用Case class定义Schema，简化代码并方便使用SQL查询；二是基于编程方式，手动构造Schema，适用于列和类型在运行时未知的情况。此外，还提到了Row对象的一些常用方法，如通过下标访问、getAs[T]获取指定列等。

摘要由CSDN通过智能技术生成

为啥要转换？

DataFrame可以借助sql语句处理，简单快捷。向hdfs的数据只能创建RDD，转化为DataFrame后就可以使用SQL进行查询

方法

方法一：基于反射推断

适合已知RDD的 Schema ，这个基于方法的反射可以让你的代码更简洁。其通过Case class 定义了表的 Schema。Case class 的参数名使用反射读取并且成为了列名。Case class 也可以是嵌套的或者包含像 SeqS 或者 ArrayS 这样的复杂类型。这个 RDD 能够被隐式转换成一个DataFrame 然后被注册为一个表。表可以用于后续的 SQL 语句

其次，也可以通过rdd方法从DataFrame转换成RDD

case class Person(name: String, age: Int, job: String)  //创建Person类
val spark = SparkSession.builder().master("local").appName("rdd to dataFrame").getOrCreate()

import spark.implicits._
//toDF需要导入隐式转换
val rdd = spark.sparkContext.textFile("data/people.txt").cache()
val header = rdd.first()
val rddToDF = rdd.filter(row => row != header) //去头
	.map(_.split(";"))
	.map(x => Person(x(0).toString, x(1).toInt, x(2).toString))