专注大数据、实时计算、程序员成长、经验分享和排坑经历

前言这几天在看 Flink SQL 内置优化参数的功能和原理，虽然网上会有一些文章介绍，这里还是自己做一个整体的总结和思考，方便自己以后的回顾。Flink SQL 内置的优化参数是 Blink Planner 里面的功能，也就是 1.9 以后 Blink Planner 自带功能，从 Flink 1.11 开始，Blink Planner 已经成为 Flink 默认的 Planner，目前聚合优化参数是针对无界流非窗口类聚合，窗口类聚合优化参数未来会进行支持。下面开始讲解一下 Flink SQL 优化参

前言Flink 1.12 版本在 20 年 12 月已经正式 Release，目前我们的 Flink SQL 作业的 Flink 引擎版本还是 1.10，本文主要用以评估 Flink 1.10 升级到 1.12 整体所能带来的预期收益，同时结合所需投入的成本，决定是否需要升级 Flink SQL 引擎版本到 1.12。本次升级所评估的收益包含 1.11 和 1.12 版本所带来的收益，如有理解错误，欢迎指出，一起交流。一、Flink SQL 作业语法更加简洁，提升实时作业开发效率收益：FLIP-12

前言Flink Forward Asia 2020 三天的分享结束了，在这次分享上，自己也收获了很多。这里写一篇文章来记录下自己这次的收获和总结，从个人的视角和理解，和大家一起分享下，当然，如果有理解错误的地方，也欢迎大家指出。1. Apache Flink 已经实时计算事实标准我相信很多公司实时计算的发展都是从 Strom 到 Spark Streaming ，然后再到 Flink 这样一个发展的历程。从引擎本身来讲，Flink 支持更低的实时计算时延，以及对于任务状态的支持。目前从国内各大公司使用

我是Lake，专注大数据技术、程序员经验、互联网科技见解分享，如果你觉得这篇文章对你有帮助的话，欢迎你点赞转发或者关注我，你的一个小小的鼓励，就是我前进的最大动力。最近在做 Flink SQL 任务方面的开发，有这样一种情况，用户自己上传自定义的 UDF Jar 包，这里你可以理解为是用户自己定义的函数 Jar 包，然后在写的 Flink SQL 任务的时候，需要能够用到 Jar 包中定义的...

前言目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 F...

前言目前 Flink 1.9 SQL 支持用户直接使用 SQL 语句创建 Kafka 数据源，这极大的方便了用户开发 Flink 实时任务，你可以像 Hive 一样，使用 Create Table 语句来创建 Kafka Source，同时在也可以使用 Select 语句，从这个表中读取数据，进行窗口、ETL等操作。本文主要讲解 Flink 1.9 SQL 创建 Kafka 的 SQL 语法使用...

今天本来想运行 Flink 里面的一个类，结果发现报错：Output path is shared between the same module error，也就是出现了很多 test 模块输出都到了同个目录，之前还运行好好的，结果今天运行就不行，于是在网上搜索了一些方法解决了，这里记录一下。第一步，右键 Flink 项目，选择 Synchronize第二步，右键选择 Maven,然后选择...

前言Flink 1.9 版本开源了很多 Blink 方面的功能，尤其是在 SQL 方面，这使得我们在开发 Flink 实时任务变得更加方便。目前 Blink SQL 支持了 Create Table 功能，以及维表的功能。我们的实时任务整体流程为，读取Kafka的数据，然后去关联 HBase 维表的数据，最后在输出到 Kafka 中，虽然整体流程跑通，但是其中也遇到了很多坑，这里记录一下，和大家...

前言Flink 1.9 版本可以说是一个具有里程碑意义的版本，其内部合入了很多 Blink Table/SQL 方面的功能，同时也开始增强 Flink 在批处理方面的能力，真的是向批流统一的终极方向开始前进。Flink 1.9 版本在 8.22 号也终于发布了。本文主要介绍学习 Flink SQL 维表 Join，维表 Join 对于SQL 任务来说，一般是一个很正常的功能，本文给出代码层面的实...

前言本文对 Flink 1.9版本特性进行了解读(基于社区邮件组讨论)，同时对Blink 开源版本 flink-sql-parser 模块进行学习了解，和大家一起交流分享。1. Flink 1.9 特性在6.28号 Flink 1.9功能已经Freeze掉，结合之前在社区邮件组讨论的1.9新特性，以及6.29号北京 Flink Meetup视频直播解读，整体而言，Flink 1.9特性我认为...