DataFrame常用操作，DSL风格语法操作DataFrame， SQL风格语法操作DataFrame 23

1. DataFrame常用操作

1.1 DSL风格语法

DataFrame提供了一个**领域特定语言(DSL)**来操作结构化数据。博主我理解为DataFrame自身的一些方法函数。
示例如下：如下示例中的数据，来源于博主上上一篇播客personDF数据来源

• 现已经有一个DataFrame类型的数据，想要查看这个数据里面的详情，需要使用.show方法

personDF.show

• 查看DataFrame类型数据中的特定的内容
  • 只查看name字段的内容

  psersonDF.select(personDF.col("name")).show
  

  
  • 只查看name字段的另一种方法

  personDF.select("name").show
  

  
  • 查看 name 和age字段数据

  personDF.select(col("name"), col("age")).show
  

  
  • 打印DataFrame的Schema信息

  personDF.printSchema
  

  
  • 查询所有的name和age，并将age+1

  personDF.select(clo("name"),col("age"),col("age")+1).show
  

  
  或者

  personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show
  

  
  • 过滤age大于等于25的，使用filter方法过滤

  personDF.filter(col("age")>25).count
  

  
  • 统计年龄大于30的人数

  personDF.filter(col("age")>30).count
  

  
  • 按年龄分组,并统计每组人数

  personDF.groupBy("age").count().show
  

  

  1.2 SQL风格语法

  DataFrame强大之处是我们可以把他看做一个关系型数据表, 然后可以再程序中使用spark.sql()来执行sql语句,并且返回一个DataFrame.
  如果使用SQL风格语法,需要先把DataFrame注册成一张表.如何注册呢?

  personDF.registerTempTable("t_person")
  

  案例如下:
  • 查询年龄最大的前2名

  spark.sql("select * from t_table order by age desc limit 2").show
  

  
  • 显示表的Schema信息

    spark.sql("desc t_person").show
    

    
• 查询年龄大于30的人

spark.sql("select * from t_person where age > 30 ").show