flink
小凯Alex
这个作者很懒,什么都没留下…
展开
-
Flink异步IO学习记录
国际惯例,先把官方文档介绍一波加入flink每次IO都要去访问数据库,那么数据库读取都是基于磁盘IO,速度肯定很慢,所以这里会成为流处理的一个性能瓶颈.那么异步IO就是把原来的同步请求异步化,总的耗时被多次IO分摊掉了.Asynchronous interaction with the database means that a single parallel function insta...原创 2020-01-11 11:16:39 · 468 阅读 · 0 评论 -
Flink-SQL源码解读(一)window算子的创建的源码分析
本文大体框架参考 https://blog.csdn.net/LS_ice/article/details/90711744flink版本:1.9Intro作为无限流的核心机制,流可以分割为大小有限的窗口,通过在窗口内进行聚合。把源源不断产生的数据根据不同的条件划分成一段一段有边界的数据区间,使用户能够利用窗口功能实现很多复杂的统计分析需求。windowOperator算子的创建架构w...原创 2019-08-18 23:10:52 · 1635 阅读 · 0 评论 -
Flink源码学习(二) 维表JOIN&异步优化源码解读
ref:https://yq.aliyun.com/articles/457385?spm=a2c4e.11153959.blogcont457438.27.67c71e995MMbLXf 摘抄自上文好资料:flink sql各个sql语句功能介绍可以以此为着手点做优化。流计算中常见需求就是为数据流补齐字段。数据采集端收集的数据往往有限,因此在做数据分析之前,需要把所需的维度信息补全。比如采...原创 2019-08-20 23:51:19 · 898 阅读 · 0 评论 -
Flink SQL源码解读之Hybrid Hash join
SQL如何被处理?词法语法的解析,生成一颗带有token结点的语法树。* 语义分析这时候每个结点都携带了一些具体信息,这时候生成的是一串中缀表达式。然后进入改写过程,改写属于逻辑优化。优化器处理在这里确定连接的顺序以及连接方式。优化器处理完,生成一颗执行计划树,然后由下至上递归处理。Hash join算法复杂度为O(n),两张表分别只需要扫一次。但是只能用在等值连接。...原创 2019-08-25 14:19:46 · 1504 阅读 · 0 评论
分享