利用Spark算子来计算省份广告点击TOP3

1. 需求

统计每个省份广告点击数量的TOP3

样本数据：时间戳，省份id，城市id，用户id，广告id

1516609143867 6 7 64 16

1516609143869 9 4 75 18

2. 实现分析

（1）分割每一行数据，每一行的数据用空格分割split，需要的数据是省份id和广告id

（2）将省份id和广告id和次数1组成键值对，通过算子map组合成((省份id,广告id),1)

（3）计算相同key的总和，算子reduceByKey(func,numtask)，将相同key的值聚合到一起，在shuffle前有combine操作

（4）用map将((省份id,广告id),1)改为(省份id,(广告id,sum))

（5）将同一省份的数据聚合groupby形成(省份id,(广告id,sum))

（6）排序选择前3个

3. RDD编程

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("mylog").setMaster("spark://hadoop01:7077")
      .setJars(Array("E:\\D181109\\myproject\\wordcountdemo\\target\\wordcountdemo.jar"))