大数据Flink（一百一十六）：Flink SQL的时间属性

已于 2024-10-02 18:55:45 修改
阅读量2k 收藏 24
点赞数 28
分类专栏： # Flink 大数据入门核心技术 文章标签： 大数据 flink sql
于 2024-09-10 10:26:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/142085975
版权
大数据入门核心技术 同时被 2 个专栏收录
314 篇文章 315 订阅 ¥49.90 ¥99.00
订阅专栏
Flink
122 篇文章 92 订阅
订阅专栏

文章目录

Flink SQL的时间属性

一、Flink 三种时间属性简介

二、Flink 三种时间属性的应用场景

三、SQL 指定时间属性的两种方式

四、​​​​​​​​​​​​​​SQL 处理时间DDL定义

五、​​​​​​​​​​​​​​SQL 事件时间DDL定义

Flink SQL的时间属性

先看一下本文整体的思路：

  • 与离线处理中常见的时间分区字段一样，在实时处理中，时间属性也是一个核心概念。Flink 支持 处理时间、事件时间、摄入时间 三种时间语义。
  • 分别介绍三种时间语义的应用场景及案例。三种时间在生产环境的使用频次事件时间
了解本专栏 订阅专栏 解锁全文
Lansonli
关注
专栏目录
订阅专栏
大数据Flink（七十一）：SQL的时间属性
Lansonli（蓝深李）的博客
09-03 1486
以事件时间举个例子，如果只是数据携带了时间，Flink 也消费了这个数据，但是在 Flink 中没有使用数据的这个时间作为计算的触发条件，也不能把这个 Flink 任务叫做事件时间的任务。：举个例子，比如用户可以自定义每隔 10s 的本地时间，或者消费到的数据的时间戳每增大 10s，就把计算结果输出一次，时间在此类应用中也是一种标识任务进度的作用。事件时间：指的是数据本身携带的时间，这个时间是在事件产生时的时间，而且在 Flink SQL 触发计算时，也使用数据本身携带的时间。三种时间属性的应用场景是啥？
Flink系列Table API和SQL之：时间属性
zhengzaifeidelushang的博客
12-31 1709
Flink系列Table API和SQL之：时间属性
大数据_Flink_Java版_Table API 和 Flink SQL(13)_事件时间特性---Flink工作笔记0093
添柴程序猿的专栏
04-02 472
然后我们再来看,怎么在tableapiflinksql中添加事件时间, 可以看到也是有三种办法,1.dataStream转换成表的时候指定 2.在Tableschema中指定 3.在ddl中指定 先看一下在dataStream转换成dataTable的时候指定可以看到上面两种方式, 可以看到,第一种,上面,直接id,timestamp.rowtime这样指定的 第二种rt.rowtime这样指定的. 我们去看看怎么做,依然上面是 我们在TableTest5_TimeAnd...
95-910-165-源码-FlinkSQL-Flink SQL 中的时间属性
九师兄
10-11 252
1.美图 2.时间属性概览 ​ 在 Flink SQL 中，表可以提供逻辑上的时间属性用于获取时间信息，时间属性可以是处理时间也可以是事件时间。在声明一张表的时候，时间属性可以在表的 schema 中定义。有些特定的操作，如窗口关联和窗口聚合操作必须基于时间属性字段，因而时间属性可以被看作一种特殊的字段类型；但是时间属性可以当作常规的时间戳字段来使用，一旦需要在计算中使用到时间属性，就需要“物化”（materialized）时间属性，时间属性字段就会被转换成一个常规的时间戳类型。被物化后的时间属性不再与
Flink-sql三个时间的定义
斧王，不能再斩杀了吗的博客
07-28 739
flinksql是不存储数据的，数据依赖自外部存储系统如 mysql，kafka等 因为动态表只是一个逻辑概念，所以Flink并不拥有数据本身。相反，动态表的内容存储在外部系统（例如数据库，键值存储，消息队列）或文件中。 ...
Flink--Table Api 和 sql 之时间属性（一）
cbb
07-20 576
Flink时间 Flink总共有三种时间语义：Processing time(处理时间)、Event time(事件时间)以及Ingestion time(摄入时间)。关于这些时间语义的具体解释，可以参考另一篇文章Flink的时间与watermarks详解。本文主要讲解Flink Table API & SQL中基于时间的算子如何定义时间语义。通过本文你可以了解到： 时间属性的简介 处理时间 事件时间 时间属性概述 Flink TableAPI&SQL中的基于时间的操作(如window)，需
大数据Flink（一百一十七）：Flink SQL的窗口操作
Lansonli（蓝深李）的博客
09-12 1361
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
大数据Flink（一百二十）：Flink SQL自定义函数（UDF）
最新发布
Lansonli（蓝深李）的博客
09-17 1534
点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。
大数据Flink（一百一十八）：Flink SQL水印操作（Watermark）
Lansonli（蓝深李）的博客
09-14 2022
4.后面几个以此类推，直到Event Time为：1648197590000的数据进来的时候，前一条数据的WaterMark为1648197589000，于是更新当前的WaterMark为1648197590000，Flink认为1648197590000之前的数据都已经到达，且达到了窗口的触发条件，开始进行计算。但是由于网络、分布式等原因，会导致数据乱序的情况。通过watermark来解决，简单来说就是延迟窗口关闭的时间，等一会迟到的数据，窗口关闭不在依据数据的时间，而是到达的watermark的时间。
大数据Flink（一百一十二）：Flink SQL作业快速入门
Lansonli（蓝深李）的博客
09-04 1224
在阿里云官网首页，点击右上角控制台，进入工作台。直接点击我的资源下的Flink，或者搜索Flink，进入Flink控制台。点击实例id，进入Flink项目空间。在左侧导航栏，单击SQL开发。在作业草稿下，新建文件夹：阿里云Flink。在此文件夹下，创建文件夹：快速入门。在快速入门文件夹下，单击新建作业草稿。单击空白的流作业草稿。单击下一步。在新建文件草稿对话框，填写作业信息。作业的名称。作业名称在当前项目中必须保持唯一。指定该作业的代码文件所属的文件夹。还可以在现有文件夹右侧，单击。
Flink Table API&SQL编程指南之时间属性(3)
jmx_bigdata的博客
08-07 450
Flink总共有三种时间语义：Processing time(处理时间)、Event time(事件时间)以及Ingestion time(摄入时间)。关于这些时间语义的具体解释，可以参考另一篇文章Flink的时间与watermarks详解。本文主要讲解Flink Table API & SQL中基于时间的算子如何定义时间语义。通过本文你可以了解到： 时间属性的简介 处理时间 事件时间 时间属性简介 Flink TableAPI&SQL中的基于时间的操作(如window)，需要指定时间语
Flink SQL(基础实践)
weixin_66034213的博客
04-29 5586
第一章 核心概念 1.1、动态表和连续查询 动态表（Dynamic Tables）是Flink的支持流数据的Table API 和SQL的核心概念。 动态表是随时间变化的，可以像查询静态批处理表一样查询它们。查询动态表将生成一个连续查询（Continuous Query）.一个连续查询永远不会终止，结果会生成一个动态表，查询不断更新其（动态）结果表，以反映其（动态）输入表上的更改。 需要注意的是，连续查询的结果在语义上总是等价于以批处理模式在输入表快照上执行的相同查询的结果。 1、将流转换为动态表
flink sql job时区设置
努力工作学习的程序员
03-12 865
参考文档:https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/config/#table-local-time-zone。
Flink Sql
weixin_42375099的博客
11-15 182
文章目录
Flink SQL
2301_78959404的博客
04-01 2201
Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的。我们主要还是以流处理应用为例进行讲解。
flink sql 之从dataStream和ddl中定义eventTime，group window，over window（4）
xuehuagongzi000的博客
10-30 232
代码 package flinkSql import flinkSourse.SensorReading import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor import org.apache.flink.streaming.api.scala.
【Flink】Flink SQL
天海行者的专栏
06-24 1167
设置TaskManager的数量和资源分配以适应集群规模和作业需求。根据TaskManager的资源为每个TaskManager设置适当的Slot数量。根据作业的需求和集群的资源设置作业的默认并行度、作业级并行度和算子级并行度。
阿里巴巴专家解读：Flink SQL实时大数据计算实践
在演讲中，伍翀首先介绍了阿里巴巴Blink项目，它是Apache Flink的一个分支，由阿里巴巴团队进行了大量改进和优化，包括贡献数百个Commit给社区。Blink不仅包含了Flink的核心运行时，还集成了Flink SQL，旨在提供更...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值