spark的两种查询风格

最新推荐文章于 2022-03-24 16:17:34 发布

a大数据yyds

最新推荐文章于 2022-03-24 16:17:34 发布

阅读量1k

点赞数 1

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/qq_45765882/article/details/105560669

版权

本文介绍了Spark处理结构化数据的两种查询风格：DSL和SQL。首先展示了如何从文件创建DataFrame，然后通过DSL风格演示了选择字段、过滤条件、聚合操作等。接着，将DataFrame注册为临时视图，利用SQL语法执行查询，包括排序、分组和计数。最后，总结了两种风格在数据处理中的应用。

摘要由CSDN通过智能技术生成

两种查询风格
1、准备工作
读取文件并转换为DataFrame或DataSet

val lineRDD= sc.textFile(“hdfs://node01:8020/person.txt”).map(_.split(" "))
case class Person(id:Int, name:String, age:Int)
val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
val personDF = personRDD.toDF
personDF.show
//val personDS = personRDD.toDS
//personDS.show

1.2、DSL风格
SparkSQL提供了一个领域特定语言(DSL)以方便操作结构化数据
1.查看name字段的数据
personDF.select(personDF.col(“name”)).show
personDF.select(personDF(“name”)).show
personDF.select(col(“name”)).show
personDF.select(“name”).show

2.查看 name 和age字段数据
personDF.select(“name”, “age”).show

3.查询所有的name和age，并将age+1
personDF.select(personDF.col(“name”), personDF.col(“age”) + 1).show
personDF.select(personDF(“name”), personDF(“age”) + 1).show
personDF.sele