spark笔记之DataFrame常用操作

3.1.  DSL风格语法

DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。

下面是一些使用示例

（1）查看DataFrame中的内容，通过调用show方法

personDF.show

（2）查看DataFrame部分列中的内容

查看name字段的数据

personDF.select(personDF.col("name")).show

查看name字段的另一种写法

personDF.select("name").show

查看 name 和age字段数据

personDF.select(col("name"), col("age")).show

（3）打印DataFrame的Schema信息

personDF.printSchema

（4）查询所有的name和age，并将age+1

personDF.select(col("id"), col("name"), col("age") + 1).show

也可以这样：

personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show

（5）过滤age大于等于25的，使用filter方法过滤

personDF.filter(col("age") >= 25).show

（6）统计年龄大于30的人数

personDF.filter(col("age")>30).count()

（7）按年龄进行分组并统计相同年龄的人数

personDF.groupBy("age").count().show

3.2. SQL风格语法

　DataFrame的一个强大之处就是我们可以将它看作是一个关系型数据表，然后可以通过在程序中使用spark.sql() 来执行SQL语句查询，结果返回一个DataFrame。

如果想使用SQL风格的语法，需要将DataFrame注册成表,采用如下的方式：

personDF.registerTempTable("t_person")

（1）查询年龄最大的前两名

spark.sql("select * from t_person order by age desc limit 2").show

（2）显示表的Schema信息

spark.sql("desc t_person").show

（3）查询年龄大于30的人的信息

spark.sql("select * from t_person where age > 30 ").show