使用Spark实现统计连续登陆的三天及以上的用户

这篇博客探讨了如何使用Spark处理连续性事件的统计问题,以连续三天登录为例,提供了RDD、SQL和DSL三种实现方式。通过展示具体的数据记录和结果表格,解释了如何计算每个用户的连续登录天数及其起止日期。
摘要由CSDN通过智能技术生成

--   这个问题可以扩展到很多相似的问题:连续几个月充值会员、连续天数有商品卖出、连续打滴滴、连续逾期。

--    分别使用RDD, SQL,DSL实现

数据如下:

guid01,2018-02-28
guid01,2018-03-01
guid01,2018-03-02
guid01,2018-03-04
guid01,2018-03-05
guid01,2018-03-06
guid01,2018-03-07
guid02,2018-03-01
guid02,2018-03-02
guid02,2018-03-03
guid02,2018-03-06 

    uid| 连续登录天数 |  起始日期  |  结束日期 |
±--------±-------±------------±------------±-+
| guid01 |       4     | 2018-03-04   | 2018-03-07 |
| guid02 |       3      | 2018-03-01 | 2018-03-03 |     

    

 一.  RDD代码实现如下

def main(args: Array[String]): Unit = {

    val isLocal = args(0).toBoolean
    val conf = new SparkConf().setAppName(this.getClass.getSimpleName)
    if(isLocal){
      conf.setMaster(&
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值