基于FlinkSQL流式处理的练习(Temporal Table的使用)

最新推荐文章于 2024-06-05 08:30:00 发布
最新推荐文章于 2024-06-05 08:30:00 发布
阅读量1k 收藏 2
点赞数 1
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/myskyzcb/article/details/117741988
版权

Flink的表API是一种类似SQL的表达式语言，用于关系流和批处理，可以嵌入Flink的Java和Scala数据集和数据流API中。表API和SQL接口在关系表抽象上运行，可以从外部数据源或现有数据流和数据集创建表。表API支持关系运算符，如表上的选择、聚合和连接等。

也可以使用常规SQL查询表。表API提供了和SQL相同的功能，可以在同一程序中混合使用。将表转换回数据集或数据流时，由关系运算符和SQL查询定义的逻辑计划将使用Apache Calcite进行优化，并转换为数据集或数据流程序

 

使用flinksql完成流式处理任务，具体需求如下。
需求描述：   
1）自定义kafka主题，使用flink从kafka中读取原油实时售价数据，注册成表；
数据如下
油品种类       价格        时间
LightCrudeOil    100    2020/11/25 09:00:00
MediumCrudeOil    90    2020/11/25 09:00:00
HeavyCrudeOil    78    2020/11/25 09:00:00
MediumCrudeOil    88    2020/11/25 10:45:00
MediumCrudeOil    89    2020/11/25 11:15:00
HeavyCrudeOil    76    2020/11/25 11:49:00
2）自定义kafka主题，从kafka中读取购买原油订单数据，注册成表；
油品种类     购买数量     时间
MediumCrudeOil    2    2020/11/25 10:15:00
LightCrudeOil    1    2020/11/25 10:30:00
HeavyCrudeOil    5    2020/11/25 10:32:00
MediumCrudeOil    3    2020/11/25 10:52:00
LightCrudeOil    6    2020/11/25 11:04:00
3）将kafka偏移量保存在checkpoint中，使用精确一次消费模式；
4）使用将原油实时售价数据注册成Temporal Table的方式进行计算 ；
5）现在要根据订单下单的时间和实时的单价表使用flinksql实时计算出订单的金额，字段包含油品种类、购买数量、订单金额、购买时间；
（例如10点52分的MediumCrudeOil原油价格要遵从10点45分时的价格而不是9点的价格）
6）使用flinksql实时计算MediumCrudeOil下单次数及其总订单金额&#x

最低0.47元/天 解锁文章
非洲野程序猿
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
FlinkSQL中间表使用零时表Temporary TABLE
科学的N次方
05-30 1570
SET table.sql-dialect=hive; use catalog myhive; CREATE TABLE IF NOT EXISTS sink_parent_info( etl_date STRING ,id BIGINT ,user_id BIGINT ,height DECIMAL(5,2) ,weight DECIMAL(5,2) ,b
Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
SmartSi
10-17 492
TopN 是统计报表和大屏非常常见的功能，主要用来实时计算排行榜。流式的 TopN 不同于批处理的 TopN，它的特点是持续的在内存中按照某个统计指标（如出现次数）计算 TopN 排行榜，然后当排行榜发生变化时，发出更新后的排行榜。本文主要讲解 Flink SQL 是如何从语法和实现上设计 TopN 的。流式 TopN 不仅在语法以及算法上会遇到很多挑战，在不同场景下的优化方案也是个非常有意思的话题。目前 Flink SQL 的 TopN 功能已经大量应用于彩票业务、阿里云的CDN项目、WAF项目等等。
Flink SQL DDL 和 窗口函数实战（含代码练习）
Brave_heart4pzj的博客
12-13 5953
一、Flink SQL DDL 2019 年 8 月 22 日，Flink 发布了 1.9 版本，社区版本的 Flink 新增 了一个 SQL DDL 的新特性，但是暂时还不支持流式的一些概念的定义，比如说水位。 二、定义 create table 语句 从 kafka 中读取数据 可以体验一下，如果使用 ddl 的方式直接定义一个表从 kafka 中读取数据，并定义成一个表 CREATE TAB...
Flink SQL查询语法部分详解（提供需求、数据练习复现）
最新发布
weixin_52134189的博客
06-05 988
Hints、WITH、DISTINCT、窗口函数（TVFs）、OVER聚合、ORDER BY、模式检测（CEP）
Flink SQL之时态表（Temporal Tables）
蔡政洁的博客
04-09 2516
目录 时态表（Temporal Table）是一张随时间变化的表 – 在 Flink 中称为动态表，时态表中的每条记录都关联了一个或多个时间段，所有的 Flink 表都是时态的（动态的）。 时态表包含表的一个或多个有版本的表快照，时态表可以是一张跟踪所有变更记录的表（例如数据库表的 changelog，包含多个表快照），也可以是物化所有变更之后的表（例如数据库表，只有最新表快照）。 版本: 时态表可以划分成一系列带版本的表快照集合，表快照中的版本代表了快照中所有记录的有效区间，有效区间的开始时间和结束时间可
FlinkSQL--时态表或版本表（Temporal Tables 或 Versioned Tables）
chbxw
11-02 785
flinksql-- 流的概念--- 时态表或者版本表
基于时域加权处理的MPEG视频质量评价方法
01-27
结合人眼对显著物体及运动目标的感知特性，提出了一种基于时域加权处理的视频质量客观评价方法。首先利用经典的结构相似性算法得出单帧图像质量分数，然后依据视频中图像组(GoP)不同类型帧失真对视频质量的影响程度...
temporal-js：使用Temporal的javascript和typescript sdk
02-02
时态js 用于Temporal的Javascript和TypeScript sdk（ ）用法要从npm安装，您可以使用npm install bonedaddy/temporal-js 。测试使用npm test （由于某些原因，仅mocha test似乎可行）。
使用SQL Server记录版本
04-11
本文将深入探讨如何在SQL Server中使用版本记录功能。 首先，SQL Server的版本记录功能主要依赖于两种技术：Temporal Tables（临时表）和Change Data Capture (CDC)。临时表是SQL Server 2016引入的新特性，它允许...
SQL-Server.zip_temporal database_对象数据库_数据库_数据库 数据_时态数据库
09-24
首先，SQL Server是微软公司开发的一种关系型数据库管理系统（RDBMS），广泛应用于企业级的数据存储和处理。它支持SQL标准，提供了强大的数据管理功能，包括事务处理、安全性、备份恢复和性能优化等。SQL Server还...
数据库流式处理
qq_34316768的博客
11-06 1541
数据库流式处理为什么采用流式处理流式处理方式需要注意的点 为什么采用流式处理 生产环境中常常遇到千万级甚至亿级的大表，对于这种表，一次查询哪怕查询的数据经过了索引，往往也需要一秒甚至多秒的时间，如果类似的查询次数可能要多达上百万的情况下，光对于这一张表的就可能需要消耗数十个小时，跑的慢不可怕，要是业务逻辑错了、代码有BUG、服务器挂了…要是重试几次，别说实现需求了，人都凉了。 快，是现代社会的最基...
大数据实时计算Flink SQL解密
06-26
2018年第九届中国数据库技术大会，阿里巴巴集团的伍翀分享
大数据之flink教程-TableAPI和SQL.pdf
07-27
第一章 整体介绍 2 1.1 什么是 Table API 和 Flink SQL 2 1.2 需要引入的依赖 2 1.3 两种 planner（old & blink）的区别 4 第二章 API 调用 5 2.1 基本程序结构 5 2.2 创建表环境 5 2.3 在 Catalog 中注册表 7 2.3.1 表（Table）的概念 7 2.3.2 连接到文件系统（Csv 格式） 7 2.3.3 连接到 Kafka 8 2.4 表的查询 9 2.4.1 Table API 的调用 9 2.4.2 SQL 查询 10 2.5 将 DataStream 转换成表 11 2.5.1 代码表达 11 2.5.2 数据类型与 Table schema 的对应 12 2.6. 创建临时视图（Temporary View） 12 2.7. 输出表 14 2.7.1 输出到文件 14 2.7.2 更新模式（Update Mode） 15 2.7.3 输出到 Kafka 16 2.7.4 输出到 ElasticSearch 16 2.7.5 输出到 MySql 17 2.8 将表转换成 DataStream 18 2.9 Query 的解释和执行 20 1. 优化查询计划 20 2. 解释成 DataStream 或者 DataSet 程序 20 第三章 流处理中的特殊概念 20 3.1 流处理和关系代数（表，及 SQL）的区别 21 3.2 动态表（Dynamic Tables） 21 3.3 流式持续查询的过程 21 3.3.1 将流转换成表（Table） 22 3.3.2 持续查询（Continuous Query） 23 3.3.3 将动态表转换成流 23 3.4 时间特性 25 3.4.1 处理时间（Processing Time） 25 3.4.2 事件时间（Event Time） 27 第四章 窗口（Windows） 30 4.1 分组窗口（Group Windows） 30 4.1.1 滚动窗口 31 4.1.2 滑动窗口 32 4.1.3 会话窗口 32 4.2 Over Windows 33 1） 无界的 over window 33 2） 有界的 over window 34 4.3 SQL 中窗口的定义 34 4.3.1 Group Windows 34 4.3.2 Over Windows 35 4.4 代码练习（以分组滚动窗口为例） 36 第五章 函数（Functions） 38 5.1 系统内置函数 38 5.2 UDF 40 5.2.1 注册用户自定义函数 UDF 40 5.2.2 标量函数（Scalar Functions） 40 5.2.3 表函数（Table Functions） 42 5.2.4 聚合函数（Aggregate Functions） 45 5.2.5 表聚合函数（Table Aggregate Functions） 47
Flink学习4-流式SQL
迷路剑客个人博客
09-20 6678
Flink学习4-流式SQL 摘要 最近需要做流式数仓，所以调研就要Flink流式SQL。初期选定袋鼠云做的flinkStreamSQL。本文会记录一下重要的文章。 1 flinkStreamSQL 1.1 flinkStreamSQL解决的问题 原生FlinkSQL没有实现对数据来源、数据目的地的SQL化，必须要写代码。 这个就很坑了，一般来说，SQL面向数据分析人员，如果要写代码无疑提高了门槛...
Flink Table & SQL 时态表Temporal Table
王佩的CSDN博客
12-14 3315
举个栗子，假设你在Mysql中有两张表: browse_event、product_history_info。 browse_event: 事件表，某个用户在某个时刻浏览了某个商品，以及商品的价值。如下: SELECT * FROM browse_event; +--------+---------------------+-----------+-----------+-----------...
Flink实战（七十七）：flink-sql使用（五）分离的 SQL 查询、SQL 视图、临时表（Temporal Table）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1226
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 分离的 SQL 查询 为定义端到端的 SQL 管道，SQL 的INSERT INTO语句可以向 Flink 集群提交长时间运行的分离查询。查询产生的结果输出到除 SQL 客户端外的扩展系统中。这样可以应对更高的并发和更多的数据。CLI 自身在提交后不对分离查询做任何控制。 INSERT INTO MyTableSink SELECT * FROM MyTableSource si..
使用Spark SQL 构建流式处理程序
weixin_33826268的博客
09-11 136
前言 今天介绍利用 StreamingPro 构建流式(Spark Streaming)计算程序 准备工作 下载StreamingPro README中有下载地址 我们假设您将文件放在了/tmp目录下。 填写配置文件 实例一，Nginx日志解析后存储到ES gist 测试样例, 模拟数据，并且单机跑起来 gist 假设你使...
Flink第二次练习（含流式数据初试）
曦玥Moonight的博客
11-15 194
Flink的官网：https://flink.apache.org/ 使用的软件：IntelliJ IDEA Community Edition CoreAPI： DataSet:专门处理离线数据,给离线数据处理设计了更多有针对性的API. env:ExecutionEnvironment DataStream:一般用于处理流式数据,也可以处理离线数据env:StreamExecutionEnvironment 【这一次用的是DataStream】 创建SourceTest package cn.tedu.
如何 触发Flink的 eventime temporal join
04-05
要触发Flink的event time temporal join，需要满足以下条件： 1. 数据源必须有时间戳（timestamp）字段，用于标识事件发生的时间。 2. 数据源必须定义Event Time和Watermark，用于处理乱序事件数据。 3. 执行join操作时，需要使用Window函数将事件流分割为固定时间段的窗口，以便进行join操作。 4. 在join操作中，需要将窗口中的数据按照时间戳进行排序。 5. 确保所有数据源都使用相同的时间语义（Event Time）。 以下是一个示例代码，演示如何触发Flink的event time temporal join： ``` DataStream<Order> orders = env .addSource(new OrderSource()) .assignTimestampsAndWatermarks(new OrderTimestampExtractor()); DataStream<Payment> payments = env .addSource(new PaymentSource()) .assignTimestampsAndWatermarks(new PaymentTimestampExtractor()); orders.join(payments) .where(order -> order.getCustomerId()) .equalTo(payment -> payment.getCustomerId()) .window(TumblingEventTimeWindows.of(Time.seconds(10))) .apply(new JoinFunction<Order, Payment, String>() { @Override public String join(Order order, Payment payment) throws Exception { return "Order: " + order.toString() + ", Payment: " + payment.toString(); } }) .print(); ``` 在上述代码中，orders和payments分别是两个数据源，分别代表订单和支付信息。我们使用OrderTimestampExtractor和PaymentTimestampExtractor对它们进行时间戳和Watermark的处理。 在join操作中，我们使用where和equalTo指定订单和支付信息的关联字段，使用TumblingEventTimeWindows将事件流分割为10秒的窗口，然后使用JoinFunction进行join操作，并将结果打印出来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值