LS_ice的专栏

一、动机随着FLink在流处理中的广泛采用，Flink也显示了其在批处理中的潜力。改进Flink的批处理，尤其是在SQL方面的能力，将使Flink在流处理之外得到更多的应用，并为用户提供流和批处理需求的全套解决方案。另一方面，Hive已将其重点放在大数据技术及其完整的生态系统上。对于大多数大数据用户而言，Hive不仅是大数据分析和ETL领域SQL引擎，还是一个数据管理平台，可以在Hive平台上...

FLink全链路时延—测量方式文章目录FLink全链路时延---测量方式一、背景二、源码分析来源三、腾讯Oceanus监控指标参考四、Flink LatencyMarker实现思路五、Flink LatencyMarker实现源码六、总结说明一、背景FLink Job端到端延迟是一个重要的指标，用来衡量FLink任务的整体性能和响应延迟（大部分流式应用，要求低延迟特性）。通过流处理引擎竞品...

文章目录目的修改计划前提Function DDL语法创建函数语句（Create Function Statement）删除函数语句（Drop Function Statement）修改函数语句（Alter Function Statement）显示函数语句（Show Function Statement）使用场景从classpath加载UDF从远程资源加载UDF目的这个FLIP目的在于，支持f...

文章目录目的：目的：目前(Flink 1.9)， Flink采用粗粒度的资源管理方法，tasks根据job的最大并行度，部署到尽可能多的预定义slots中，而不管每个task/operator可以使用多少资源。上述方法易于设置，但是不能最佳的利用和性能。任务可能具有不同的并行度（parallelisms），因此不是所有的slots都包含完整的任务管道（task pipeline）。对于任...

文章目录目的：(1)解决流和批不同的配置(2)解决Streaming方式RocksDB配置复杂原文链接:FLink FLIP-49: Unified Memory Configuration for TaskExecutors目的：该提案目的是解决Flink 1.9 TaskExecutor内存配置的几个缺点。(1)解决流和批不同的配置目前，流和批作业TaskExecutor内存的配置...

文章目录一、Flink Join介绍1、Join分类A、Regular Join（普通join）B、Time Window JoinC、Join LETERALD、Join Temporal Table时态表E、维表Join2、Regular Join说明3、Regular Join特性一、Flink Join介绍1、Join分类在上一篇文章FLink 源码分析–（三）Time Window...

[@ TOC]一、MiniBatch的演进思路1、MiniBatch版本Flink 1.9.0 SQL(Blink Planner) 性能优化中一项重要的改进就是升级了微批模型，即 MiniBatch(也称作MicroBatch或MiniBatch2.0)，在支持高吞吐场景发挥了重要作用。MiniBatch与早期的MiniBatch1.0在微批的触发机制略有不同。原理同样是缓存一定的数据后...

一、Flink源码调试概述在Flink1.9.0源码研究过程中，调试源码是一个非常重要的手段，通过查看真实的运行数据和变量，来了解源码内部运行逻辑如果是本地Jvm调试Flink，我们可以运行各种xxxITCase测试用例，加断点来调试，这个相对容易如果我们想调试线上集群，获取JobMaster、TaskManager运行数据、运行逻辑，来解决一些难以在本地Jvm复现的问题，则情况变得复杂...

文章目录一、概述1、SQL的优势2、FLink SQL 核心功能3、Flink Join的分类一、概述1、SQL的优势在介绍Time Window Join前，可以先看看Flink SQL相关的整体介绍和架构：声明式：用户只需要表达我想要什么，至于怎么计算那是系统的事情，用户不用关心。自动调优。查询优化器可以为用户的 SQL 生成最有的执行计划。用户不需要了解它，就能自动享受优化器...

文章目录一、window报错问题描述二、报错相关Flink源码分析1、StreamLogicalWindowAggregateRule的作用2、StreamLogicalWindowAggregateRule#getTimeFieldReference()方法分析3、创建TimeIndicatorRelDataType过程4、TableSourceTable#getRowType()设置字段类型三...

文章目录一、异步I/O概述二、创建AsyncWaitOperator一、异步I/O概述Flink流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求(例如在MapFunction中，同步方式访问)，然后等待结果返回，在这之前，我们无法发送用户b的查询请求Flink的Async I/O允许用户在数据流中使...

文章目录一、window功能概述二、window分类及整体流程三、 创建WindowOperator算子四、WindowOperator处理数据一、window功能概述Flink窗口具有多种类型，包括基于计数的滑动窗口和滚动窗口，基于系统时间和事件时间的滑动窗口、滚动窗口以及会话窗口，从而把源源不断产生的数据根据不同的条件划分成一段一段有边界的数据区间，使用户能够利用窗口功能实现很多复杂的统...