通过大量地铁拍卡数据分析地铁发车时间间隔

凡心微光

已于 2022-06-10 20:28:49 修改

阅读量2.4k

点赞数

文章标签： spark 大数据 big data scala

于 2022-06-09 12:32:51 首次发布

本文链接：https://blog.csdn.net/qq_53578487/article/details/125185002

版权

1. 统计表中有多少数据

导入数据

val dfraw= spark.read.format("csv").option("header",value = true).option("encoding","utf-8").load("file:///home/hadoop/smartdata*")

在这里插入图片描述

修改全部列名(改为英文）

val dfraw01 = Seq("cardid","time","station","type") 
val df = dfraw.toDF(dfraw01:_*)

在这里插入图片描述

统一站点名称

def replaceStationName(station:String):String ={
        var dststation=station
        if(!station.endsWith("站"))
                dststation = station + "站"
        else
                dststation = dststation
        if(dststation.equals("马鞍山站"))