1. DataFrame常用操作
1.1 DSL风格语法
DataFrame提供了一个**领域特定语言(DSL)**来操作结构化数据。博主我理解为DataFrame自身的一些方法函数。
示例如下:如下示例中的数据,来源于博主上上一篇播客personDF数据来源
- 现已经有一个DataFrame类型的数据,想要查看这个数据里面的详情,需要使用
.show
方法
personDF.show
- 查看DataFrame类型数据中的特定的内容
- 只查看name字段的内容
psersonDF.select(personDF.col("name")).show
- 只查看name字段的另一种方法
personDF.select("name").show
- 查看 name 和age字段数据
personDF.select(col("name"), col("age")).show
- 打印DataFrame的Schema信息
personDF.printSchema
- 查询所有的name和age,并将age+1
personDF.select(clo("name"),col("age"),col("age")+1).show
或者personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show
- 过滤age大于等于25的,使用filter方法过滤
personDF.filter(col("age")>25).count
- 统计年龄大于30的人数
personDF.filter(col("age")>30).count
- 按年龄分组,并统计每组人数
personDF.groupBy("age").count().show
1.2 SQL风格语法
DataFrame强大之处是我们可以把他看做一个关系型数据表, 然后可以再程序中使用spark.sql()来执行sql语句,并且返回一个DataFrame.
如果使用SQL风格语法,需要先把DataFrame注册成一张表.如何注册呢?
案例如下:personDF.registerTempTable("t_person")
- 查询年龄最大的前2名
spark.sql("select * from t_table order by age desc limit 2").show
- 显示表的Schema信息
spark.sql("desc t_person").show
- 查询年龄大于30的人
spark.sql("select * from t_person where age > 30 ").show