使用scala编写flink消费kafka实时计算pv,uv

最新推荐文章于 2024-05-23 10:57:27 发布
最新推荐文章于 2024-05-23 10:57:27 发布
阅读量9.9k 收藏 35
点赞数 5
分类专栏： # Hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/88727649
版权
大数据 同时被 2 个专栏收录
38 篇文章 11 订阅 ¥29.90 ¥99.00
订阅专栏
Hive
17 篇文章 13 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看

分享一个大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到人工智能的队伍中来！
点击浏览教程

实时统计pv、uv是再常见不过的大数据统计需求了，前面出过一篇SparkStreaming实时统计pv,uv的案例，这里用flink实时计算pv,uv。

我们需要统计不同数据类型每天的pv，uv情况,并且有如下要求.

  • 每秒钟要输出最新的统计结果
  • 程序永远跑着不会停,所以要定期清理内存里的过时数据
  • 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制
  • 访问uv并不一定每秒钟都会变化,重复输出对IO是巨大的浪费,所以要在uv变更时在一秒内输出结果,未变更时不输出

flink数据流上的类型和操作

DataStream是flink流处理最核心的数据结构，其它的各种流都可以直接或者间接通过DataStream来完成相互转换，一些常用的流直接的转换关系如图：
flink数据流上的类型和操作
可以看出，DataStream可以与Key

了解本专栏 订阅专栏 解锁全文
大数据技术派
关注
  • 5
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
订阅专栏
Flink(Scala版)消费Kafka数据存入Mysql
weixin_53299145的博客
12-05 1903
使用Flume采集日志存入kafka，并用Flink消费kafka数据，最后存入Mysql中
Flink(scala)整合Redis统计PV(page view)
我不是秃头的博客
01-05 594
Flink(scala)整合Redis统计PV(page view)
Flink入门，flink接入kafka数据源，消费数据并处理数据
最新发布
荒野拖拉机
05-23 581
构建时会提示找不到类，在idea中勾选如图选项，或者在pom文件中修改scope的值为compile。消费者可以收到消息，kafka安装完成，如果没有收到可以检查topic是否一致，ip是否正确。首先先下载kafka的linux版本，可以搜索阿里云的镜像进行下载，速度很快。将文件中的listeners注释去掉，并修改值为你虚拟机的ip，如下图。最后运行新的消费者，消费处理后的数据，只需修改topic。然后运行代码，在生产者生产一条数据进行查看。启动生产者服务，bin目录下。安装过程可自行搜索。
Flink数据统计UV、PV统计(三种写法)
baifanwudi的专栏
04-10 9294
做了那么多次flink统计，发现我居然没写过uv，pv统计（因为uv,pv实时统计,公共平台帮做了）。 public static final DateTimeFormatter TIME_FORMAT_YYYY_MM_DD_HHMMSS = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"); ... Properties prop...
基于Flink实时项目：用户行为分析（三：网站总浏览量统计（PV））
不会打球的摄影师不是好程序员
05-27 663
1.需求： 1.网站总浏览量（PV）的统计 2.对于PV做一个简介： 衡量网站流量一个最简单的指标，就是网站的页面浏览量（Page View，PV）。用户每次打开一个页面便记录 1 次 PV，多次打开同一页面则浏览量累计。一般来说，PV 与来访者的数量成正比，但是 PV 并不直接决定页面的真实来访者数量，如同一个来访者通过不断的刷新页面，也可以制造出非常高的 PV。 3.思路：设置滚动时间窗口，实时统计每小时内的网站 2.代码实现 import org.apache.flink.api.scala._ im
指标统计：基于流计算 Oceanus(Flink) 实现实时 UVPV 统计
腾讯技术工程
11-03 941
作者：吴云涛，腾讯 CSIG 高级工程师导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 ...
flink 读取 kafka (DataStream API scala 源码)
06-29
flink 读取 kafka (DataStream API scala 源码)
flink读取kafka数据.zip
01-04
flink读取kafka数据，按照业务逻辑计算完之后以数据流的方式快速导入到redis集群，并实现了将计算结果以流的方式快速导入MySQL库中。
scala编写，以spark stream方式监听消费kafka的topic，同步写入elasticsearch
11-06
scala编写，以spark stream方式监听消费kafka的topic，同步写入elasticsearch
flink-1.13.1-bin-scala-2.11以及hadoop连接器、kafka连接器
01-26
https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz官网下载太慢！flink集群搭建 包括： 1.flink-1.13.1-bin-scala-2.11 ...3.kafka连接器jar包flink-connector-kafka_2.11-1.13.1
一文让你彻底了解大数据实时计算引擎 Flink
01-26
它由Java和Scala编写，旨在提供高效、低延迟的数据处理能力。Flink的核心理念是流处理，其认为批处理只是流处理的一个特例。这意味着，无论数据是有界还是无界，Flink都能进行有效处理。 【数据集类型和运算模型】 ...
Flink监控Kafka数据，将计算数据推送到kafka
qq_43750656的博客
03-21 1161
消费flink计算后的数据，进行进一步存储或者计算等。
在Flink上实现读取kafka中的数据进行词频统计并将结果保存在ClickHouse中。
DRUNK02的博客
06-06 500
在使用IDEA时可能会出现爆红但是可以正常执行，原因可能是由于IDEA没有正常适配ClickHouse中的SQL语句。相关依赖需要根据实际环境进行适配，如果是Maven项目可以在。如有其他问题或建议欢迎留言。
Kafka学习笔记 --- Scala实现FlinkKafkaConsumer
杨鑫newlife的专栏
07-17 2936
Kafka学习笔记 --- Scala实现FlinkKafkaConsumer
Flink整合kafka的练习-统计卡口通过的车辆数量（及提交到集群中的问题）
weixin_48370579的博客
07-27 628
练习-统计卡口通过的车辆数量(及提交到集群中的问题) 统计卡口查流量 1、统计最近15分分钟的车流量 2、每隔5分钟统计一次 3、使用事件时间 4、数据源使用kafka 5、将统计好的结果保存到mysql中 1、创建kafka生产者生产几条数据 #创建一个Topic kafka-topics.sh --create --zookeeper master:2181,node1:2181,node2...
Flink典型应用场景
Piepis的博客
07-15 4811
背景 随着网络迅速发展，大数据的处理呈现出非常明显的实时化趋势。在实时化的大趋势底下，了解并熟悉Flink常用的三大典型应用场景，对于我们理解并使用Flink具有很大的帮助。 事件驱动型应用 事件驱动表示一个事件会触发另一个或者是很多个后续的事件，然后这一系列事件会形成一些信息，基于这些信息需要做一定的处理。 通俗讲，事件驱动型应用是一类具有状态的应用，会根据事件流中的事件触发计算、更新状态或进行外部系统操作。 常见于实时计算业务中，比如：实时推荐，金融反欺诈，实时规则预警等。 常见的事件驱动型场景举例
Kafka按天和小时获取数据量
疏笃
11-19 5069
1.按天统计 #!/bin/sh brokers="ip地址" topic="topic名称" y1=`date -d yesterday +%Y-%m-%d` y2=`date +%Y-%m-%d` yesterday1=`date -d "${y1} 00:00:00" +%s000` yesterday2=`date -d "${y2} 00:00:00" +%s000` last=0 now=0 speed=0 echo "【-------开始统计，当前统计时间为`date`----
初学者——用Flink消费kafka数据
Fighting_hyt的博客
09-02 8310
一、Flink基本了解 Apache Flink其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。 二、环境说明 scala、 flink 、 kafka、 hadoop 三、主要代码 1. 初始化flink流处理的运行环境 //初始化flink流处理的运行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExec
Flink从Kafka消费并统计结果写入Kafka
weixin_42539417的博客
08-27 2161
Flink从Kafka消费到另一个Kafka
使用Scala编写flink读取kafka数据代码并输出
03-06
可以回答这个问题，以下是Scala编写flink读取kafka数据代码并输出的示例： ```scala import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer val...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值