Spark(43) -- SparkStreaming -- 案例：统计一定时间内的热门词汇TopN

最新推荐文章于 2023-07-04 20:07:29 发布
最新推荐文章于 2023-07-04 20:07:29 发布
阅读量394 收藏
点赞数
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/109038659
版权
本文介绍了如何使用SparkStreaming模拟百度热搜排行榜，以10秒为窗口，5秒为滑动间隔，实时计算最近10秒内的热门词汇Top3。通过Scala代码实现这一功能。
摘要由CSDN通过智能技术生成

1. 需求

模拟百度热搜排行榜
统计最近10s的热搜词Top3，每隔5秒计算一次
WindowDuration = 10s
SlideDuration = 5s
在这里插入图片描述

2. scala代码

import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
erainm
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
[Spark streaming举例]-- 统计一段时间内的热搜词
欢迎来到我的博客，一起探索代码里的世界！
06-04 5747
如下 package com.my.scala import org.apache.spark.SparkConf import org.apache.spark.streaming.{Durations, StreamingContext} /**   *   * 使用开窗函数实现spark streaming，版本统计一段时间内前三的热搜词汇   *   * 测试结果：测试成功   *...
DStream操作实战:4.SparkStreaming开窗函数统计一定时间内的热门词汇
布里啾啾迪布利多的博客
03-11 2402
package cn.testdemo.dstream.socketimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.s...
Apache SparkStreaming 统计一定时间内的热门词汇TopN
大数据流浪法师的学习笔记与分享
04-10 1107
SparkStreaming 统计一定时间内的热门词汇TopN 需求 模拟百度热搜排行榜 统计最近10s的热搜词Top3，每隔5秒计算一次 WindowDuration = 10s SlideDuration = 5s 代码 package demo13 import org.apache.spark.rdd.RDD import org.apache.spark.streaming.dstr...
sparkStreming开窗函数应用----统计一定时间内的热门词汇
qq_41458071的博客
06-01 169
object SparkStreamingTCPWindowHotWords { def main(args: Array[String]): Unit = { //配置sparkConf参数 val sparkConf = new SparkConf().setAppName("SparkStreamingTCPWindowHotWords").setMaster("local[2]") //构建sparkContext对象 val sc = new SparkCon...
Spark综合学习笔记（十一）SparkStreaming案例5 topN
斯特凡今天也很帅的博客
11-23 475
学习致谢 https://www.bilibili.com/video/BV1Xz4y1m7cv?p=45添加链接描述 代码实现 package streaming import org.apache.spark.rdd.RDD import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} imp
Spark-SQL之每日top3热点搜索词案例统计
S_Running_snail的博客
04-13 1171
实现思路 1、针对原始数据（HDFS文件），获取输入的RDD 2、使用filter算子，去针对输入RDD中的数据，进行数据过滤，过滤出符合查询条件的数据。 2.1 普通的做法：直接在fitler算子函数中，使用外部的查询条件（Map），但是，这样做的话，是不是查询条件Map，会发送到每一个task上一份副本。（性能并不好） 2.2 优化后的做法：将查询条件，封装为Broadcast广播变...
Spark-Streaming>实战练习
qq_44509920的博客
04-16 493
文章目录WordCountupdateStateByKeyreduceByKeyAndWindow统计一定时间内的热门词汇TopN WordCount 1、需求&准备 图解 首先在linux服务器上安装nc工具 nc是netcat的简称，原本是用来设置路由器,我们可以利用它向某个端口发送数据 yum install -y nc 启动一个服务端并开放9999端口,等一下往这个端口发数据 ...
Elasticsearch与Hadoop_Spark的文本处理与搜索
介绍Elasticsearch与Hadoop_Spark ## 1.1 Elasticsearch概述 Elasticsearch是一个开源的分布式搜索引擎，它可以快速、实时地存储、检索和分析大量数据。Elasticsearch采用Lucene作为其底层引擎，在其基础上提供了...
机器学习(Machine Learning)&深度学习(Deep Learning)资料
热门推荐
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
Spark的TopN示例
06-10
Spark中实现MapReduce的TopN算法，分为唯一键TopN算法，非唯一键TopN算法和Group内的TopN算法
Golang优秀开源项目汇总, 10大流行Go语言开源项目, golang 开源项目全集(golang/go/wiki/Projects), GitHub上优秀的Go开源项目...
weixin_34245082的博客
05-08 6066
  Golang优秀开源项目汇总（持续更新。。。）我把这个汇总放在github上了， 后面更新也会在github上更新。 https://github.com/hackstoic/golang-open-source-projects  。 欢迎fork， star ， watch， 提issue。    资料参考来源：http://studygolang.com/projects 监控...
Spark Streaming 实现网站热词排序
博樽
06-05 1599
创建数据库来保存数据、创建HotWordBySort.scala实现功能。
SparkStreaming实时日志分析--实时热搜词
weixin_30907523的博客
05-14 193
Overview 整个项目的整体架构如下： 　　 关于SparkStreaming的部分： Flume传数据到SparkStreaming：为了简单使用的是push-based的方式。这种方式可能会丢失数据，但是简单。 SparkStreaming因为micro-batch的架构，跟我们这个实时热点的应用还是比较契合的。 SparkStreaming这边是基于sliding...
Spark大数据分析与实战：基于Spark框架实现TopN
?
06-26 1万+
Spark大数据分析与实战：基于Spark框架实现TopN 基于Spark框架实现TopN 一、实验背景： 基于Spark框架实现TopN 二、实验目的： 获取蜀国武将中武力值最高的5位，即通过分布式计算框架实现从原始数据查询出武力最高的Top5 三、实验步骤： 启动 hadoop 创建 rank.txt 文件 将 rank.txt 文件上传到 HDFS 上 实现TopN计算 查看 HDFS 上的结果 四、实验过程： 1、启动 hadoop Shell命令： [root@master ~]# cd /
Spark Streaming全天候实时top N实现
KLordy的博客
01-17 3343
1. 背景介绍   公司的日志平台是通过spark streaming消费kafka上的数据，解析完毕后直接存入到hdfs，然后到了每天凌晨通过pig脚本来对前一天的hdfs上的全量数据进行统计分析，得出前一天的日志的各项指标。全量的数据量一天通过lzo压缩后有大概4T，解压完估计得有40~50T。然后每天计算的指标有十个，有若干个指标是需要计算top n这种，而且pig脚本代码质量较差，有一些j...
Spark Streaming从Kafka自定义时间间隔内实时统计行数、TopN并将结果存到hbase中
小强签名设计 的博客
08-02 3766
一、统计kafka的topic在10秒间隔内生产数据的行数并将统计结果存入到hbase中 先在hbase中建立相应的表： create 'linecount','count' 开启kafka集群并建立相应的topic： [hadoop@h71 kafka_2.10-0.8.2.0]$ bin/kafka-topics.sh --create --zookeeper h71:2181,h
Spark-分组TopN
最新发布
qq_40382400的博客
07-04 452
Spark的分组TopN （1）自定义分区器，按照key进行分区，使不同的key进到不同的分区 （2）对每个分区运用spark的排序算子进行排序// 构造示例数据// 创建 JavaPairRDD// 自定义分区器，按照键进行分区// 对每个分区使用排序算子进行排序并获取 TopN 值// 指定要获取的 TopN 值的数量});// 打印结果sc.stop();// 自定义分区器@Overridereturn 3;// 指定分区数。
Spark使用Scala和java实现TopN
休对故人思故国，且将新火试新茶。诗酒趁年华
10-10 244
数据源： class1 100 class2 86 class3 70 class1 102 class2 65 class1 45 class2 85 class3 70 class1 16 class2 88 class1 95 class2 37 class3 98 class1 99 class2 23 使用Scala实现： import org.apache.spark.{SparkC...
掌握Spark-submit：部署与应用提交指南
Spark-submit是Apache Spark项目中的一个重要组件，用于在集群上提交、管理和监控Spark应用程序的执行。它允许用户轻松地在Hadoop分布式文件系统（HDFS）上运行大规模的数据处理任务，无需详细了解底层的集群配置和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值