使用scala编写flink消费kafka实时计算pv,uv

最新推荐文章于 2024-09-23 15:28:08 发布
最新推荐文章于 2024-09-23 15:28:08 发布
阅读量9.9k 收藏 35
点赞数 5
分类专栏： # Hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/88727649
版权
大数据 同时被 2 个专栏收录
38 篇文章 13 订阅 ¥29.90 ¥99.00
订阅专栏
Hive
17 篇文章 14 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
本文介绍了如何使用Scala编写Flink消费Kafka进行实时PV和UV统计，详细讨论了业务代码、存在的问题及改进方案。通过使用窗口和水印处理迟到数据，并展示了将List和Set替换为更高效的计数器以节省内存的优化方法。
摘要由CSDN通过智能技术生成

分享一个大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到人工智能的队伍中来！
点击浏览教程

实时统计pv、uv是再常见不过的大数据统计需求了，前面出过一篇SparkStreaming实时统计pv,uv的案例，这里用flink实时计算pv,uv。

我们需要统计不同数据类型每天的pv，uv情况,并且有如下要求.

  • 每秒钟要输出最新的统计结果
  • 程序永远跑着不会停,所以要定期清理内存里的过时数据
  • 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制
  • 访问uv并不一定每秒钟都会变化,重复输出对IO是巨大的浪费,所以要在uv变更时在一秒内输出结果,未变更时不输出

flink数据流上的类型和操作

DataStream是flink流处理最核心的数据结构，其它的各种流都可以直接或者间接通过DataStream来完成相互转换，一些常用的流直接的转换关系如图：

了解本专栏 订阅专栏 解锁全文
大数据技术派
关注
专栏目录
订阅专栏
flink 读取 kafka (DataStream API scala 源码)
06-29
flink 读取 kafka (DataStream API scala 源码)
Flink代码示例（1）：消费Kafka Demo
高矮
05-23 2765
Flink: Blink分支 1.5.1 https://github.com/apache/flink/tree/blink Maven Dependency: <dependency> <groupId>com.alibaba.blink</groupId> <artifactId>flink-scala_2.11</a...
Flink(Scala版)消费Kafka数据存入Mysql
weixin_53299145的博客
12-05 2092
使用Flume采集日志存入kafka，并用Flink消费kafka数据，最后存入Mysql中
大数据：快速入门Scala+Flink
最新发布
程序员猫爪
09-23 1653
Scala 是一种多范式编程语言，它结合了面向对象编程和函数式编程的特性。Scala 这个名字是“可扩展语言”（Scalable Language）的缩写，意味着它被设计为能够适应不同规模的项目，从小型脚本到大型分布式系统。兼容 Java：Scala 代码可以编译成 Java 字节码，并且可以在任何支持 Java 的平台上运行。这意味着 Scala 可以直接使用大量的 Java 库和框架。简洁性：Scala 提供了一种更加简洁的方式来表达复杂的逻辑。
Flink消费kafka中的数据(scala版)
weixin_48678923的博客
08-05 1256
kafka依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.1</version> </dependency> 核心代码： import org.apache.flink.api.common
flume+kafka+flink整合消费数据 scala语言
SqrsCbrOnly1的博客
08-22 1326
首先启动zookeeper zkServer.sh start 在启动kafka bin/kafka-server-start.sh config/server.properties 创建主题 bin/kafka-topics.sh -create --bootstrap-server 192.168.35.125:9092,192.168.35.126:9092,192.168.35.127:9...
Flink / Scala 实战 - 12.Aggregate 详解与 UV、PV 统计实战
BITDDD小栈
09-23 1058
Flink / Scala 使用 Aggregate 函数统计 PV、UV。
flink读取kafka数据.zip
01-04
总的来说，这个项目展示了如何利用 Flink 构建一个实时数据处理系统，从 Kafka 消费数据，进行复杂计算，然后将结果分别存储到 Redis 缓存和 MySQL 数据库中。这样的架构适用于需要实时分析和快速响应的业务场景，...
flink连接kafka
01-20
5. **运行作业**：最后，提交并运行你的Flink作业，它将开始从Kafka消费数据并执行定义的流处理逻辑。 在生产环境中，确保Zookeeper、Kafka和Flink集群都正常运行，且网络连接无阻塞，才能保证数据的顺利流动。同时...
scala编写，以spark stream方式监听消费kafka的topic，同步写入elasticsearch
11-06
在这个项目中，我们使用Scala编程语言，结合Spark Streaming来监听和消费Kafka的特定主题，然后将处理后的数据实时写入Elasticsearch进行存储和检索。 首先，Scala是一种静态类型的函数式编程语言，它在Java虚拟机...
kafka连接flink流计算完整版
08-18
- 使用Scala或Java编写程序来消费Kafka中的数据。 - 示例代码框架： ```scala import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connectors.kafka._ object ...
[Scala] Flink项目实时热门商品统计（一）
CodeZenPlayground
01-03 2496
传送区 [Scala] Flink项目实例系列（零）[Scala] Flink项目实时热门商品统计（一）[Scala] Flink项目实时流量统计（二）[Scala] Flink项目恶意登录监控（三）[Scala] Flink项目订单支付失效监控（四）[Scala] Flink项目订单支付实时对账（五）[Scala] Flink项目小彩蛋（六） 本项目的代码及文件见这这这，友情码是：3n9z。...
Flink系列之：基于scala语言实现flink实时消费Kafka Topic中的数据
zhengzaifeidelushang的博客
10-07 2338
Flink系列之：基于scala语言实现flink实时消费Kafka Topic中的数据
Flink-电商用户行为分析(网站总浏览量(PV)的统计)
Knight
07-07 1800
衡量网站流量一个最简单的指标，就是网站的页面浏览量（Page View，PV）。用户每次打开一个页面便记录 1 次 PV，多次打开同一页面则浏览量累计。一般来说，PV 与来访者的数量成正比，但是 PV 并不直接决定页面的真实来访者数量，如同一个来访者通过不断的刷新页面，也可以制造出非常高的 PV! 我们知道，用户浏览页面时，会从浏览器向网络服务器发出一个请求（Request），网络服务器接到这个请求后，会将该请求对应的一个网页（Page）发送给浏览器，从而产生了一个 PV。所以我们的统计方法，可以是从 we
Flink 实时统计历史 pv、uv
东境物语
04-12 1265
通过Flink SQL实时统计 pv、uv
Flink(scala)整合MySQL统计UV(unique visitor)
我不是秃头的博客
01-04 1973
数据源是尚硅谷的课件, 需要的话可以私信我 核心代码 import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.configuration.Configuration import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.functions.Keye
[Scala/Flink] 读写 Kafka
weixin_42902669的博客
05-17 1179
Scala+Flink 读写 Kafka Scala-2.12.7 / Flink-1.12.1 / Kafka-2.4.1
网站日志实时分析之Flink处理实时热门和PVUV统计
微信搜：import_bigdata，大数据领域硬核原创作者
08-10 977
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！实时热门统计操作步骤：先从Kafka...
Flink统计当日的UV、PV
weixin_30326515的博客
05-24 2049
　　Flink统计当日的UV、PV 　　测试环境： 　　　　flink 1.7.2 　　1、数据流程 　　　　 　　　　a.模拟数据生成，发送到kafka（json格式）　　 　　　　b.flink读取数据，count 　　　　c.输出数据到kafka（为了方便查看，输出了一份到控制台） 　　2、模拟数据生成器 　　　　数据格式如下 ：{"id" : 1, "creat...
使用Scala编写flink读取kafka数据代码并输出
03-06
可以回答这个问题，以下是Scala编写flink读取kafka数据代码并输出的示例： ```scala import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer val...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值