1. 需求
统计每个省份广告点击数量的TOP3
样本数据:时间戳,省份id,城市id,用户id,广告id
1516609143867 6 7 64 16
1516609143869 9 4 75 18
2. 实现分析
(1)分割每一行数据,每一行的数据用空格分割split,需要的数据是省份id和广告id
(2)将省份id和广告id和次数1组成键值对,通过算子map组合成((省份id,广告id),1)
(3)计算相同key的总和,算子reduceByKey(func,numtask),将相同key的值聚合到一起,在shuffle前有combine操作
(4)用map将((省份id,广告id),1)改为(省份id,(广告id,sum))
(5)将同一省份的数据聚合groupby形成(省份id,(广告id,sum))
(6)排序选择前3个
3. RDD编程
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("mylog").setMaster("spark://hadoop01:7077")
.setJars(Array("E:\\D181109\\myproject\\wordcountdemo\\target\\wordcountdemo.jar"))