SparkSql编程之《DataFrame转换操作》

一、数据准备，json文件

项目处新建people.json文件

创建DataFrame

val df = spark.read.json("input/people.json")

二、DataFrame上的转化操作

1、where操作

df.where("name='Andy'").show()

|age|name|
+---+----+
| 30|Andy|

2、查询操作

（1）select 获取指定字段值

df.select("name","age").show()

|   name| age|
+-------+----+
|Michael|null|
|   Andy|  30|
| Justin|  19|

df.select(df("age")+1).show()

|(age + 1)|
+---------+
|     null|
|       31|
|       20|

（2）selectExpr  对指定字段进行特殊处理。可以使用函数

df.selectExpr("name as myname","age","round(age)","concat(name,age)").show()

+-------+----+-------------+---------------------------------+
| myname| age|round(age, 0)|concat(name, CAST(age AS STRING))|
+-------+----+-------------+---------------------------------+
|Michael|null|         null|                             null|
|   Andy|  30|           30|                           Andy30|
| Justin|  19|           19|                         Justin19|
+-------+----+-------------+---------------------------------+

（3）col： 获取指定字段

<