flink的Watermark 1.12版本的实现方式

最新推荐文章于 2024-08-02 16:27:32 发布
最新推荐文章于 2024-08-02 16:27:32 发布
阅读量1k 收藏 5
点赞数 1
分类专栏： flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anyitian/article/details/117655334
版权

watermark以前的实现方式

  1. 首先需要指定时间为eventTime

    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

  2. 使用BoundedOutOfOrdernessTimestampExtractor类来生成watermark

    // 转换成SensorReading类型，分配时间戳和watermark
DataStream<SensorReading> dataStream = inputStream.map(line -> {
     
  String[] fields = line.split(",");
  return new SensorReading(fields[0], new Long(fields[1]
最低0.47元/天 解锁文章
颍天
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink 时间语意
qq_29342297的博客
02-03 537
Flink 时间语意 flink 中的时间语意 设置Event Time Watermark watermark的传递，引入和设定 Event Time:时间创建的时间 Ingestion Time:数据进入flink的时间 Processing Time:执行操作算子的本地系统时间，与机器相关 不同的时间语义有不同的应用场合 我们往往更关心事件时间(Event Time) 某些应用场合，不应该使用Processing Time Event Time 可以从日志数据的时间戳(timestamp)
Flink（1.12版本）
weixin_43329173的博客
10-16 1084
一、Flink的重要特点 分层API Flink与Spark的对比 Flink Spark ① 流处理 批处理 ② 事件驱动型，节省资源，被动 时间驱动型，浪费资源（主动） ③ 在流的基础上做批处理 在批的基础上做流处理 ④ Flink窗口比Spark灵活 - ⑤ 精准一次语义保证，优于Spark - ⑥ 延迟较低（毫秒）、吞吐量较小、可靠性强 - Flink的其他特点： 二、Flink快速上手 案例：wordCount 2.1 批处理 （1）设置执行环境
flink 1.12 时间语义与WaterMark
newbrid007的博客
03-24 2057
一. 在新版本中 flink 默认处理的是事件时间而不是 以前默认的处理时间 在学习的时候安装新版本 之后看历史版本的视频按照老师的步骤容易报错 大概的意思就是设置mark 或者将 事件类型 换成 Processing Time @deprecated In Flink 1.12 the default stream time characteristic has been changed to * [[TimeCharacteristic.EventTime]] ,
Flink 1.12的CDC
Baron_ND的博客
08-18 1509
基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。本文将以Flink1.12为例，一一介绍这些特性的基本使用方式，主要包括以下内容： Flink集成Hive Hive Catalog与Hive Dialect Flink读写Hive Flink upsert-kafka连接器 Flink CDC的connector 尖叫提示：本文内容
Datastream Connectors--kafka----flink-1.12
chbxw
07-17 828
flink datastream connector kafka
Flink从1.7到1.12版本升级汇总
微信搜：import_bigdata，大数据领域硬核原创作者
08-25 1690
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜 一 .前言最进再看官方flink提供的视频教程,发现入门版本因为时间关系都是基于1.7.x讲解的. 在实际操作中跟1....
flink1.12版本--滚动窗口水位线
huangyueranbbc的博客
04-14 539
flink1.12版本–滚动窗口水位线 watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用watermark机制结合window来实现。 我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、背压等原因，导致乱序的产生（out-of-order或者说late element）。 但是对于late element，我们又不能无限期的等下去，必须要有个机制
Flink教程(7) 时间特性、窗口、Watermark代码实践，支持Flink1.12
Java Spring Elasticsearch
12-17 2779
一、前言 时间、窗口和Watermark是Flink的很重要的概念，学习它们是掌握运用Flink的重中之重。 二、时间特性 在DataStream API中，你可以用时间特性告知Flink在创建窗口时如何定义时间。 时间特性是StreamExecutionEnvironment的一个属性，它可以接受如下值。 1 ProcessingTime 处理时间 简单来说，处理时间就是Flink算子处理该条数据时，当前的系统时间。 通常，在窗口算子中使用处理时间会导致不确定的结果，因为这取决于数据到达Flink窗口时
【Flink专题】基于Flink1.12的知识点总结
zuo1057559550的博客
07-06 776
内容非常详细哦~
Flink获取kafka的offset
anyitian的博客
05-10 1775
前言 在工作的时候，一直想知道flink消费kafka的时候怎么去获取offset，以便有时候自己管理offset。在网上找了很多资料也没有找到。 研究源码，发现SimpleStringSchema主要是实现了DeserializationSchema，继续深入发现了KeyedDeserializationSchema这个接口。 实现方式 先写一个kafka的msg的类 import lombok.Data; @Data public class KafkaMsg { private Stri
Flink学习笔记（2）——任务提交模式
anyitian的博客
04-29 1268
文章目录前言Standalone模式yarn模式 前言 本文介绍flink的任务提交模式。 Standalone模式 Web UI提交job 打开flink的Web UI，在Web UI的Submit New Job提交jar包。 Job参数： Entry Class：程序的入口，指定入口类（类的全限制名） Parallelism：任务的并行度 Program Arguments：程序启动参数，例如–host localhost --port 7777 Savepoint Path：手动备份地址
写hive到clickhouse的脚本遇到的问题及解决办法
anyitian的博客
04-23 1221
文章目录背景步骤 背景 最近有个需求，就是需要把hive的数据导入到clickhouse，目前的做法是先用waterdrop把hive的数据导入clickhouse的本地表中，然后再清洗写入分布式表中。手动处理已经是完全可以的，但是想做成定时调度，但是我们这边的大数据集群和clickhouse是分开的，所以需要远程调用执行clickhouse的命令，下面就是我在写脚本的时候遇到的问题以及解决办法，特此记录一下。 步骤 waterdrop搭建以及导数据到clickhouse可以参考：https://blog.
Flink集群搭建教程
anyitian的博客
04-29 637
文章目录前言下载解压修改配置文件配置flink环境变量(三台主句修改/etc/profile)启动flink集群问题及解决办法 前言 本次教程使用了三台主机分别是bigdata151、bigdata152、bigdata153。 下载 按照所需版本下载 比如scala版本 地址：https://flink.apache.org/downloads.html 解压 上传到服务器，解压。 tar -zxvf flink-1.12.2-bin-scala_2.12.tgz 修改配置文件 进入conf目录下
Flink学习笔记（4）——source and sink
anyitian的博客
05-10 573
文章目录前言从集合读取数据从文件读取数据从socket读取数据从kafka读取数据自定义Source 前言 flink中提供了很多种数据源，有基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source。 Flink 常见的
Flink学习笔记（5）——算子
anyitian的博客
05-14 239
基本转换算子 map：输入一条记录，输出一个结果，不允许不输出 flatmap：输入一条记录，可以输出0或者多个结果 filter：如果结果为真，则仅发出记录 package transform; import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api
Flink学习笔记（1）——流批处理
anyitian的博客
04-27 149
文章目录pom文件批处理流处理总结 学习flink怎么能少得了wordcount呢？ pom文件 flink1.0版本及以下 <properties> <flink.version>1.10.0</flink.version> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</
Flink学习笔记（5）——window
anyitian的博客
05-28 146
文章目录基本概念window类型滚动窗口(Tumbling Windows)滑动窗口(Sliding Windows)会话窗口(Session Windows)window api概述创建不同类型的窗口window function其他api 基本概念 一般真实的流都是无限的，怎么处理无界的数据？在实际生产中，需要把无限的数据流进行切分，得到有限的数据集进行处理。 窗口(window)就是将无限流切割为有界流的一种方式，它会将流数据分发到有限大小的桶中进行分析。 window类型 flink里提供了时间窗
大数据Flink（一百零六）：什么是阿里云实时计算Flink版
最新发布
Lansonli（蓝深李）的博客
08-02 585
阿里云实时计算Flink版是一种全托管Serverless的Flink云服务，开箱即用，计费灵活。阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。阿里云实时计算Flink版作为企业级高性能Serverless实时大数据处理系统，集成Apache Flink内核，100%兼容Apache Flink，并提供丰富的企业级增值功能。
使用docker 部署flink1.12版本 案例
03-02
以下是一个使用Docker部署Apache Flink 1.12的示例。 1. 首先，您需要安装Docker和Docker Compose。如果您没有安装，请参阅官方文档以获取说明。 2. 创建一个名为“flink”的新文件夹。 3. 在“flink”文件夹中创建一个名为“docker-compose.yml”的新文件，并添加以下内容： ``` version: "3.8" services: jobmanager: image: flink:1.12 expose: - "8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager taskmanager: image: flink:1.12 depends_on: - jobmanager command: taskmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager ``` 该文件定义了两个服务：jobmanager和taskmanager。jobmanager是Flink作业管理器，taskmanager是Flink任务管理器。jobmanager暴露了端口8081，以便您可以通过Web界面查看Flink集群的状态。 4. 运行以下命令来启动Flink集群： ``` docker-compose up -d ``` 该命令会启动两个Docker容器，一个作为jobmanager，另一个作为taskmanager。 5. 在浏览器中打开以下网址，以查看Flink Web界面： ``` http://localhost:8081 ``` 您应该能够看到Flink集群的状态。 6. 现在，您可以将您的Flink作业提交到集群中。您可以使用以下命令来提交一个简单的WordCount作业： ``` docker run --rm -t flink:1.12 \ ./bin/flink run ./examples/batch/WordCount.jar \ --input file:///opt/flink/README.txt \ --output file:///opt/flink/wordcount-result.txt ``` 该命令会在一个新的Docker容器中运行WordCount作业，并将输入文件读取为本地文件系统中的文件，将输出写入到本地文件系统中的文件中。 7. 您可以使用以下命令来查看输出文件中的结果： ``` docker run --rm -it flink:1.12 cat /opt/flink/wordcount-result.txt ``` 该命令将输出WordCount作业的结果。 以上是一个使用Docker部署Apache Flink 1.12的示例。请注意，您可能需要根据您的具体情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值