Flink
文章平均质量分 92
super_man_0820
无无
展开
-
Flink1.4 Fault Tolerance源码解析-4
一种特殊的Checkpoint (检查点)—Savepoint(保存点)Savepoint 是一种特殊的 CheckPoint,所以有关 Savepoint 的实现与 CheckPoint 的实现密切相关因为 Savepoint 涉及到 Client 和 JobManager 之间的 Actor 信息交互,因此单独一文来进行介绍文章目录CheckPoint VS SavepointChec...原创 2020-02-22 16:55:09 · 409 阅读 · 0 评论 -
Apache Flink fault tolerance源码剖析-3
Zookeeper 在 Flink Fault Tolerance 的使用文章目录两种恢复模式两种类型的检查点已完成的CheckPoint存储ZooKeeperCompletedCheckpointStorerecover方法addCheckpoint方法getLatestCheckpoint方法shutdown方法CheckPoint编号计数器ZooKeeperCheckpointIDCoun...原创 2020-02-22 16:51:13 · 369 阅读 · 0 评论 -
Flink1.4 Fault Tolerance源码解析-2
CheckpointCoordinatororg.apache.flink.runtime.checkpoint.CheckpointCoordinatorFlink Fault Tolerance 非常核心的类,调用关系:JobManager[submitJob] ==> ExecutionGraphBuilder[buildGraph] ==> new Execut...原创 2020-02-22 16:24:48 · 545 阅读 · 0 评论 -
Flink相关文章
《一文搞懂 Flink 网络流控与反压机制》《追源索骥:透过源码看懂Flink核心框架的执行流程》《Task之间的数据交换机制》《Flink 网络传输优化技术》《Flink - StreamTask With Mailbox》《Flink 将重构其核心线程模型》《Flink 原理与实现:内存管理》...原创 2019-10-22 14:43:08 · 471 阅读 · 0 评论 -
干货 | Spark Streaming 和 Flink 详细对比
此文不错參考:https://blog.csdn.net/b6ecl1k7BS8O/article/details/81350587原创 2019-09-18 13:39:24 · 410 阅读 · 0 评论 -
实时组件(SparkStreaming VS Flink)容错及语义说明
本文主要整理实时组件(SparkStreaming VS Flink)容错及语义内容如下:消息系统或实时应用中的语义流处理应用如何保证 Exactly-Once 语义SparkStreaming 保证 Exactly-Once语义Flink 保证 Exactly-Once语义1. 消息系统或实时应用中的语义消息系统系统一般有以下的语义:At most once:消息可能丢失,...原创 2019-09-17 10:38:17 · 491 阅读 · 0 评论 -
项目小结:基于 flink-connector-kafka-0.8_2.11 实现 exactly-once 语义
Flink作为新一代的流式计算框架,提供了 exactly-once 语义,但是其仅仅支持Flink内部数据流转的 exactly-once 语义,如需保证整条数据链路(即上下游交互)的完整 exactly-once 语义,需要第三方系统支持或者业务上进行保证项目背景广告推送系统需要根据 广告的点击量,对第三方进行收费、抽佣,需要做到 exactly-once 语义。需解决的问题Flink...原创 2019-08-08 10:27:22 · 1027 阅读 · 0 评论 -
Flink生产环境遇到的问题
问题列表:数据倾斜导致子任务挤压Kafka 消息大小默认配置太小,导致数据未处理Tps 很大,Kafka Ack 默认配置 拖慢消息处理速度数据倾斜导致子任务挤压1. 业务背景:一个流程中,有两个重要子任务:一是数据迁移,将kafka实时数据落Es,二是将kafka数据做窗口聚合落hbase,两个子任务接的是同一个Topic GroupId。上游 Topic 的 tps 高峰达到...原创 2019-07-27 10:53:56 · 2025 阅读 · 0 评论 -
基于Flink1.8 深入理解Flink Sql执行流程 + Flink Sql语法扩展
本文主要内容如下:介绍 Flink SQL 引擎:Calcite简述 Flink Table/SQL 执行流程以 Flink SQL Demo 为切入,结合调试过程,深入理解 Flink Streaming SQLflink 语法扩展Flink SQL 引擎:Calcite简述 Flink Table/SQL 执行流程以 Flink SQL Demo 为切入,结合调试过程,深入理...原创 2019-07-15 20:10:06 · 19423 阅读 · 4 评论 -
Flink数据流转——Task之间(用户API层面)
结合Flink1.8源码,分析数据在Flink各Task(算子)之间的流转过程,有利于理解Flink运行逻辑,方便定位问题。原创 2019-06-14 11:29:38 · 573 阅读 · 0 评论 -
弄清Flink1.8的远程过程调用(RPC)
基于Flink1.8版本,分析Flink各节点之间的RPC实现:介绍RPC相关的主要接口RPC节点之间的通信方式Flink老版本处理Rpc时,各节点通过继承FlinkActor接口,接收Actor消息,根据消息类型进行不同的业务处理。此种方式将流程业务和具体通信组件耦合在一起,不利于后期更换通信组件(如使用netty),因此Flink引入了RPC调用,各节点通过GateWay方式回调,隐...原创 2019-06-01 22:51:57 · 2786 阅读 · 0 评论 -
基于Flink1.8的Flink On Yarn的启动流程
基于Flink1.8版本,分析 On Yarn模式的任务提交过程:明确提交模式:Job模式和Session模式分析启动命令,确定Main方法入口原创 2019-06-01 16:59:38 · 5363 阅读 · 3 评论 -
Flink源码解读系列3——JobGraph的构建
接《Flink源码系列——获取StreamGraph的过程》获取到StreamGraph后,继续分析,如果通过获取到的StreamGraph来转化为JobGraph。转化逻辑在StreamingJobGraphGenerator这个类中,入口是createJobGraph(StreamGraph)方法。先是初始化了一个StreamingJobGraphGenerator的实例,StreamingJ...原创 2018-07-21 11:26:01 · 1417 阅读 · 0 评论 -
Flink源码解读系列2——StreamGraph的构建
接着《Flink源码解读系列1——分析一个简单Flink程序的执行过程》一文的结尾继续分析,在完成对数据流的转换操作之后,需要执行任务,这时会调用如下代码:env.execute("Socket Window WordCount");在StreamExecutionEnvironment中,这是一个抽象方法,具体的实现在其子类中,其子类StreamContextEnvironment的...原创 2018-07-21 11:02:36 · 1231 阅读 · 0 评论 -
Flink源码解读系列1——分析一个简单Flink程序的执行过程
在Flink中,实现从指定主机名和端口接收字符串消息,对接收到的字符串中出现的各个单词,每隔1秒钟就输出最近5秒内出现的各个单词的统计次数。代码如下:public class SocketWindowWordCount { public static void main(String[] args) throws Exception { /** 需要连接的主...转载 2018-07-21 10:00:09 · 5246 阅读 · 2 评论 -
Flink1.4 Fault Tolerance源码解析-1
Flink1.4 Fault Tolerance源码解析-1前言:本篇关注Flink,对Fault Tolerance的源码实现进行阐述,主要介绍Api层及Flink现有实现。本篇文章重点关注以下问题:具备Fault Tolerance能力的两种对象:Function和Operator分析两个接口,列举典型实现,并做简要分析1. 具备Fault Tolerance能力的两...原创 2018-06-24 17:55:16 · 345 阅读 · 0 评论