现有某地区出租车 GPS 定位数据 taxi.csv,部分数据见下图

本文介绍了如何使用Spark RDD、DataFrame和SQL处理GPS出租车数据,包括查询特定车辆数据、统计不同车辆数量、分析车辆GPS记录及找出记录最多的车辆。
摘要由CSDN通过智能技术生成

数据一共分为 4 列,每一列含义如下表所示

根据上述条件,参考 SparkRDD、wordcount、SparkDataFrame、SparkSQL 实验,编写代码实
现如下要求:

1、查询编号为 5 的出租车的 GPS 数据的前 10 行数据
2、统计共有多少辆不同的出租车(id为唯一标识)
3、分别统计每辆出租车的 GPS 点记录有多少条,这里只查看前10行数据

4、选出记录数量最多的3辆车

一、RDD实现

一、RDD实现
1.导入数据
rdd1=sc.textFile("/home/ubuntu/taxi.csv")
2.分割数据
rdd2=rdd1.map(lambda x:x.split(","))
3.查询某一列数据编号为几的前十行数据,调用filter()函数
rdd2.filter(lambda x:x[0]=='5').take(10)#1
4.统计某一列数据共有多少不同的数据,distinct()为去重函数,count()为计数数据
rdd2.map(lambda x:x[0]).distinct().count()#2   384
5.统计某一列

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值