![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
Quan.S
让技术回归纯真
展开
-
Flink 远程调试
Flink 远程调试原文链接https://cwiki.apache.org/confluence/display/FLINK/Remote+Debugging+of+Flink+Clusters 不好意思,按照原文操作,是有BUG的。BUG说明Flink的文档中告诉你这么操作,在conf/flink-conf.yaml中添加如下一行:-agentlib:jdwp...原创 2018-04-28 10:41:43 · 4980 阅读 · 0 评论 -
Flink JAR包上传和运行逻辑
文章目录说明启动ResetServer注册HandlerUpload JARRun Jar生成JobGraph的过程调用用户程序main方法执行用户程序main方法执行execute (和接触过一个概念很类似-打桩测试)提交JobGraphExectionGraph Deploy的过程说明目标:走读Flink Clint中Upload jar、Run jar相关代码源码版本:1.6.1部...原创 2019-02-08 11:21:48 · 15526 阅读 · 0 评论 -
Flink 一键更换用户程序(with Python3)
背景开发过程中会将JAR提交到Flink上集群上运行,结果发现有错。然后改代码、cancel老的job、删除老的jar包,上传新的jar包。然后上面的步骤一天重复个N次。于是用python,结合Flink Rest Api的说明文档,搞个脚本去跑。Flink Rest API官网地址:https://ci.apache.org/projects/flink/flink-docs-relea...原创 2019-03-13 11:54:31 · 996 阅读 · 1 评论 -
Flink状态管理(一) 原理和数据持久化
前言Flink documentation 中 “work with state” 中提到了Flink的状态恢复机制。实现思想来源于Chandy-Lamport的分布式快照算法。分别对理论和源码了解后,发现Flink其实是算法的一个极简实现。具体来说一下怎么来简化实现的。Chandy-Lamport 分布式快照算法熟肉版文章中通过Token传递的两个典型场景来分析分布式快照应该遵循的法则:...原创 2019-04-18 17:49:14 · 2132 阅读 · 0 评论 -
Flink Partitioning,不只是Shuffle
在Flink中,partiioning可以细分为Shuffle、Rebalance、Rescale、Broadcast多种。本文也通过channelSelector的实现来窥探partitioning的过程。原创 2019-04-18 21:56:43 · 6211 阅读 · 0 评论 -
解读Flink双流Join
基本概念双流Join是Flink面试的高频问题。一般情况下说明以下几点基本就可以cover了:Join大体分类只有两种:Window Join和Interval Join。Window Join又可以根据Window的类型细分出3种:Tumbling Window Join、Sliding Window Join、Session Widnow Join。Windows类型的join都是利...原创 2019-05-04 16:04:21 · 17848 阅读 · 3 评论 -
Flink状态管理(二)状态数据结构和注册流程
Flink的状态存储算的是框架的一个精华,本文结合代码理解状态的注册过程,观察数据的存储结构原创 2019-05-21 18:06:57 · 1248 阅读 · 1 评论 -
Apache Flink中Watermark、Window、State三者的关系
Watermark和Window的关系?Window和Watermark是基于key的么?Window和State的关系?本文主要从这三个问题入手来理解Watermark、Window、State三者之间的联系原创 2019-05-29 11:48:26 · 2392 阅读 · 7 评论