Flink SQL 批处理使用HOP详解

本文详细介绍了Flink SQL如何在批处理模式下使用HOP窗口函数,适用于每隔固定时间统计一段时间内指标的场景。通过实例解析了滑动间隔小于窗口时间的情况,说明了批处理中HOP窗口的执行逻辑,包括如何按照时间排序、滑动计算以及输出窗口结果。
摘要由CSDN通过智能技术生成

Flink SQL 批处理使用HOP详解

介绍

Flink SQL中分组窗口函数中有一个HOP(time_attr, hop interval 滑动间隔, fixed duration 窗口时间),适合的场景基本是每隔多长时间统计一次某个时间段内的指标,例如,统计每个用户过去1分钟(窗口时间)的单击次数,每30秒(滑动间隔)更新1次。在流式计算中比较容易理解,但是批处理使用这个函数就会让人摸不着头脑。下面通过一个例子来解释。

表结构及数据

在这里插入图片描述

SQL

    INSERT INTO print
    SELECT a, sum(b) as b_sum
      FROM orders
     GROUP BY a, HOP(rowtime, INTERVAL '1' HOUR, INTERVAL '24' HOUR)
     ORDER BY a

执行结果及解释

+I(a,55)  2021-03-26 09:00:00 ~ 2021-03-26 09:59:59   +55 第一个窗口开始
+I(a,55)
+I(a,55)
+I(a,55)
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Flink SQL 批处理是指使用 Flink 提供的 SQL API 对批量数据进行处理和分析的过程。在 Flink 中,可以通过编写 SQL 查询语句来对批量数据进行过滤、聚合、计算等操作,从而实现对大规模数据的高效处理。 通过 Flink SQL 批处理,可以快速地实现对数据的批量处理,同时可以利用 Flink 强大的并行计算能力和优化的执行引擎来提高处理效率和性能。在实际应用中,Flink SQL 批处理可以用于数据清洗、转换、统计、报表生成等各种数据处理场景。 Flink SQL 批处理的流程通常包括以下几个步骤:数据源读取、SQL 查询编写、执行计算、结果输出等。首先,需要从数据源中读取批量数据,可以是文件、数据库、消息队列等形式。然后,可以编写 SQL 查询语句来对数据进行筛选、聚合、计算等操作。接下来,Flink 会根据 SQL 查询语句生成相应的计算图,并对数据进行并行计算。最后,计算结果可以输出到文件、数据库、消息队列等目的地。 Flink SQL 批处理具有扩展性好、性能高、易用性强等优点,适合于需要对大规模批量数据进行处理和分析的场景。同时,Flink 还提供了丰富的内置函数和用户自定义函数接口,可以满足各种复杂数据处理需求。综上所述,Flink SQL 批处理是一种强大的数据处理工具,可以帮助用户快速高效地处理大规模批量数据。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值