Spark入门案例--出租车数据分析

通过分析出租车数据,然后使用KMeans对经纬度进行聚类,然后按照(类别,时间)进行分类,再统计每个类别每个时段的次数。

数据地址 链接: https://pan.baidu.com/s/166dKRUpryHWZ2F8wLA3eyw 密码: g9dz

数据格式以及意义:

111,30.655325,104.072573,173749
111,30.655346,104.072363,173828
111,30.655377,104.120252,124057
111,30.655439,104.088812,142016

列一:出租车ID

列二:经度

列三:纬度

列四:时间(例如:142016表示14点20分16秒)


步骤:

1.整理数据,分割成训练数据和测试数据,且使其符合KMeans模型训练的格式

2.使用训练好的模型对测试数据进行预测,然后对结果以(类别,小时时间 )进行count统计,结果为每个类别每个小时的总次数。


import org.apache.spark.ml.clustering.KMeans
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{StructField, StructType}
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._
object Tax1 {
  def main(arg:Array[String]):Unit={
    val spark = SparkSession.builder().appName("Taxi1").master("local[*]").getOrCreate()
//为读取的数据创建schema
    val taxiSchema = StructType(Array(
      StructField("id",IntegerType,true),
      StructField("tid",DoubleType,true),
      StructField("lat",DoubleType,true),
      StructField("time",StringType,true)
    ))
    val path = "/home/enche/data/taxi.csv"
    val data = spark.read.schema(taxiSchema).csv(path)
    //将tid和lat转换成训练使用的Vector类型
    val assembler = new VectorAssembler()
    val tid_lat = Array("tid","lat")
    assembler.setInputCols(tid_lat).setOutputCol("feature").transform(data)
    //按照8:2的比例随即分割数据,分别用于训练和测试
    val splitRait = Array(0.8, 0.2)
    val Array(train, test) = data.randomSplit(splitRait)
    //建立Kmeans,设置类别数为10 
    val kmeans = new KMeans().setK(10).setFeaturesCol("feature").setPredictionCol("prediction")
   //模型训练
    val model = kmeans.fit(train)
    //使用模型预测 测试数据
    val testResult = model.transform(test)
    //导入隐式转换,不然$"time"会出现错误 $ not e member of StringContext
    import spark.implicits._
    val time_prediction = testResult.select(substring($"time", 0, 2).alias("hour"), $"prediction")
    time_prediction.groupBy("hour","prediction").agg(("prediction","count")).orderBy(desc("count")).filter(row=>row.getAs(0)==15).take(10)
  }
}


没有更多推荐了,返回首页