Spark-sql结果保存指定位置

最新推荐文章于 2023-02-13 22:26:52 发布

绛门人

最新推荐文章于 2023-02-13 22:26:52 发布

阅读量8k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/wt346326775/article/details/72874381

版权

该博客讲述了如何使用Spark SQL对数据进行处理，包括读取HDFS上的数据，创建case class定义数据结构，将数据转换为DataFrame，执行SQL查询，按年龄降序排序并限制结果，最后将处理结果保存到HDFS的不同路径，并以JSON格式覆盖写入。

摘要由CSDN通过智能技术生成

//1.读取数据，将每一行的数据使用列分隔符分割
val lineRDD = sc.textFile("hdfs://node1.itcast.cn:9000/person.txt", 1).map(_.split(" "))

//2.定义case class（相当于表的schema）
case class Person(id:Int, name:String, age:Int)

//3.导入隐式转换,在当前版本中可以不用导入
import sqlContext.implicits._

//4.将lineRDD转换成personRDD
val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))

//5.将personRDD转换成DataFrame
val personDF = personRDD.toDF

6.对personDF进行处理

#(SQL风格语法)
personDF.registerTempTable("t_person")
sqlContext.sql("select * from t_person order by age desc limit 2").show
sqlContext.sql("desc t_person").show
val result = sqlContext.sql("select * from t_person order by age desc")

7.保存结果