![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
文章平均质量分 54
山海_C
这个作者很懒,什么都没留下…
展开
-
每个页面的平均停留时间 Top10
log数据字段说明如下: 编号 字段名称 字段类型 字段含义 1 date String 用户点击行为的日期 2 user_id Long 用户的ID 3 session_id String原创 2021-09-18 22:24:10 · 323 阅读 · 0 评论 -
使用累加器计算Top10热门品类
需求说明:品类是指产品的分类,大型电商网站品类分多级,咱们的项目中品类只有一级,不同的公司可能对热门的定义不一样。我们按照每个品类的点击、下单、支付的量来统计热门品类。鞋 点击数 下单数 支付数衣服 点击数 下单数 支付数电脑 点击数 下单数 支付数本项目需求优化为:先按照点击数排名,靠前的就排名高;如果点击数相同,再比较下单数;下单数再相同,就比较支付数。分别统计每个品类点击的次数,下单的...原创 2021-09-17 22:02:39 · 172 阅读 · 0 评论 -
Spark实现WordCount的11种方式
方法1: groupByimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object WordCount_01_groupBy { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount.原创 2021-09-17 20:02:09 · 563 阅读 · 0 评论