![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
掌中之物oo
这个作者很懒,什么都没留下…
展开
-
spark运行架构图
原创 2018-04-11 19:01:08 · 728 阅读 · 0 评论 -
spark 实现二次排序
在实际业务场景中,二次排序真的非常重要,并且经常遇到,下面来模拟一下以下的场景,实现对电影评分数据进行二次排序,以TimeStamp和Rating两个维度降序排列,值得一提的是,java版本的二次排序非常繁琐,而使用scala实现就简捷,首先我们需要一个继承Ordered和Serializable的类。数据:ratings.txt (UserID::MovieID::Rating::Time...原创 2018-04-13 17:00:01 · 1341 阅读 · 0 评论