DataFrame常用操作

1.1. DataFrame常用操作

1.1.1. DSL风格语法

//查看DataFrame中的内容

personDF.show

//查看DataFrame部分列中的内容

personDF.select(personDF.col(“name”)).show

personDF.select(col(“name”),col(“age”)).show

personDF.select(“name”).show

//打印DataFrame的Schema信息

personDF.printSchema

//查询所有的name和age,并将age+1

personDF.select(col(“id”),col(“name”), col(“age”) + 1).show

personDF.select(personDF(“id”),personDF(“name”), personDF(“age”) + 1).show

在这里插入图片描述

//过滤age大于等于18的

personDF.filter(col(“age”)>= 18).show

在这里插入图片描述

//按年龄进行分组并统计相同年龄的人数

personDF.groupBy(“age”).count().show()

在这里插入图片描述

1.1.2. SQL风格语法

如果想使用SQL风格的语法,需要将DataFrame注册成表

personDF.registerTempTable(“t_person”)

//查询年龄最大的前两名

sqlContext.sql(“select* from t_person order by age desc limit 2”).show

在这里插入图片描述

//显示表的Schema信息

sqlContext.sql(“desct_person”).show

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值