![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 52
画蛇添足
我是一个人!
展开
-
Flink双流Join 3种解决方案 + 2种优化方案
在流式计算中,左右表的数据都是无界的,而且是实时到来的。这就会引起流式计算中的 2 个问题 + 大数据中的 2 个核心问题转载 2022-06-10 13:58:02 · 3763 阅读 · 0 评论 -
简述Flink事务过程
Flink Kafka Sink执行两阶段提交的流程图大致如下:假设一种场景,从Kafka Source拉取数据,经过一次窗口聚合,最后将数据发送到Kafka Sink,如下图:JobManager向Source发送Barrier,开始进入pre-Commit阶段,当只有内部状态时,pre-commit阶段无需执行额外的操作,仅仅是写入一些已定义的状态变量即可。当chckpoint成功时Flink负责提交这些写入,否则就终止取消掉它们。 当Source收到Barrier后,将自身的状态进行保存,后端转载 2021-01-06 08:45:55 · 942 阅读 · 0 评论 -
flink集群部署
flink集群配置:修改flink-conf.yamljobmanager.rpc.address: centos2masters文件:centos2:8081workers文件:centos2centos3原创 2021-05-22 18:20:01 · 166 阅读 · 0 评论 -
基于k8s的Flink的application部署模式
Flink的k8s的application部署模式,具体代码如下:import java.util.Collections;import java.util.concurrent.Executors;import org.apache.flink.client.deployment.ClusterDeploymentException;import org.apache.flink.client.deployment.ClusterSpecification;import org.apach原创 2020-08-13 19:07:25 · 1530 阅读 · 2 评论 -
使用Maven生成Flink开发项目
mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.9.0 -DgroupId=com.test -DartifactId=flink -Dversion=1.0.0 -Dpackage=com.tes...原创 2018-10-21 18:25:41 · 7285 阅读 · 3 评论