![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 93
Southwest-
专注大数据领域(Spark、Flink、Hadoop生态、Kafka、数据仓库、数据中台...)
展开
-
Flink CDC-SQL Server CDC配置及DataStream API实现代码...可实现监控采集一个数据库的多个表
Flink CDC-SQL Server CDC配置及DataStream API实现代码...可实现监控采集一个数据库的多个表原创 2023-09-13 22:25:50 · 725 阅读 · 0 评论 -
Flink CDC-MySQL CDC配置及DataStream API实现代码...可实现监控采集多个数据库的多个表
Flink CDC-MySQL CDC配置及DataStream API实现代码, 可实现监控采集多个数据库的多个表原创 2023-09-11 22:01:12 · 2423 阅读 · 0 评论 -
Flink——Flink CheckPoint之两阶段提交协议(Two-Phase Commit Protocol)
参考https://courses.cs.vt.edu/the-two-phase-commit-protocolhttps://www.geeksforgeeks.org/two-phase-commit-protocol-distributed-transaction-management/原创 2021-03-29 23:27:55 · 5062 阅读 · 1 评论 -
Flink——Flink Checkpoint实现原理
文章目录CheckPoint概述Checkpoint BarrierCheckpoint执行过程不对齐的Checkpoint参考CheckPoint概述我们知道Flink是通过数据流的重放和Checkpoint机制来实现容错的。一个Checkpoint记录着数据流中某个时刻所有operators对应的状态。Flink的容错机制会对分布式的数据流连续的绘制快照,并将状态进行存储,当因为机器、网络或软件故障等原因导致Flink应用程序失败的时候,数据流可以从最近一次成功的Checkpoint进行恢复,同时通原创 2021-03-28 17:02:10 · 3640 阅读 · 0 评论 -
Flink——Flink状态与容错恢复
文章目录原创 2021-01-16 17:17:00 · 564 阅读 · 0 评论 -
Flink——Flink 时间(Time)、水印(Watermark)、窗口(Window)
aa原创 2020-12-20 13:21:08 · 905 阅读 · 0 评论 -
Flink——Flink读写MySQL
package flink.batch;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.common.typeinfo原创 2020-12-13 22:04:17 · 437 阅读 · 0 评论 -
Flink——Flink集群架构及应用程序执行模式
文章目录Flink集群架构图1. JobManager2. TaskManagerTask和Operator ChainsTask slot和资源Flink Application Execution1. Flink Session集群2. Flink Job集群3. Flink Application集群三种集群模式优劣Flink Session集群优劣Flink Job集群Flink Application集群参考这篇文章概述了Flink的体系结构,并描述其主要组件是如何交互以执行应用程序,并从故障中原创 2020-11-16 00:37:30 · 982 阅读 · 0 评论 -
Flink——Flink反压机制及与Spark Streaming的区别
什么是背压在流处理系统中,出现下游消费者消费数据的速率跟不上上游生产者生产数据的速率的情况,就叫做背压。 Spark Streaming中的背压在Spark 1.5之前,流应用程序如果因为资源不足导致处理数据的速度跟不上接收数据的速度的情况,可以通过设置每秒所接收数据的最大条数来缓解这种情况。对于使用Receiver的方式可以通过设置’spark.streaming.receiv...翻译 2019-11-02 23:04:06 · 1286 阅读 · 0 评论