大数据优化方案----Spark案例优化(一)

“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。”。

大数据面试宝典目录,请点击

目录

一、需求

二、样例数据

三、实现方式一

四、实现方式二

      自定义分区取
      重写排序规则
      排序

五、实现方式三

     在shuffle是在每一个分区中实现排序
     另一种方式实现，使用ShuffleRDD

---

---

一、需求

       通过分析用户浏览新闻热门话题的日志，统计每个话题下被浏览量最多的用户topN，即按照话题分组，在每一个组内进行排序