spark SQL热点搜索词统计

根据用户上网的搜索记录对每天的热点搜索词进行统计,以了解用户所关心的热点话题。
要求完成:统计每天搜索数量前3名的搜索词(同一天中同一用户多次搜索同一个搜索词视为1次)。

数据示例
2019-10-01,tom,小吃街
2019-10-01,jack,谷歌浏览器
2019-10-01,jack,小吃街
2019-10-01,look,小吃街
2019-10-01,steven,烤肉
2019-10-01,lojas,烤肉
2019-10-01,look,小吃街
2019-10-02,marry,安全卫士
2019-10-02,tom,名胜古迹
2019-10-02,marry,安全卫士
2019-10-02,leo,名胜古迹
2019-10-03,tom,名胜古迹
2019-10-03,leo,小吃街
val shuju=spark.read.textFile("hdfs://192.168.10.132:9000/input/keywords.txt")

shuju.show

在这里插入图片描述

 case class Shuju(date:String,name:String,address:String)
val shujuDataset=shuju.map(line=>{
            val fields=line.split(",")
            val date=fields(0)
            val name=fields(1)
            val address=fields(2)
            Shuju(date,name,address)})
shujuDataset.show()

在这里插入图片描述

val sjdf =shujuDataset.toDF()

在这里插入图片描述

sjdf.createTempView("v_shuju")

在这里插入图片描述

val result = spark.sql( val result=spark.sql("SELECT date, address, COUNT(*) AS count FROM (SELECT DISTINCT date,name,address FROM v_shuju)  GROUP BY date, address")

在这里插入图片描述

result.createTempView("v_shuju1")
#降序排列
val result2=spark.sql("select * from v_shuju1 order by date desc")
result2.show
#升序排列
val result3=spark.sql("select * from v_shuju1 order by date ")
result3.show

在这里插入图片描述

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值