![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
流风雨情
空杯心怀,stay hungry stay foolish
展开
-
Flink设置checkpoint 状态与容错
一致性检查点:在流式应用处理过程中,Flink会周期性的为应用状态生成检查点。一旦发生故障,Flink会利用最新的检查点来恢复任务状态,并重新启动处理程序。如果所有算子的状态都可以写入检查点并从其中恢复,并且所有输入流的消费位置都能重置到检查点的那一刻,那么检查点和故障恢复机制就能为整个应用状态提供精确一次的一致性保障。 值得一提的是,Flink的检查点机制,只能保证应用内部状态的精确一致性,至于端对端的精确一致性保证,还需结合外部读写系统的支持。 final StreamExecutio原创 2020-06-02 13:41:58 · 1237 阅读 · 0 评论 -
Flink并行度
核心概念之并行度◆算子级别设置flink的编程API修改◆运行环境级别设置executionEnvironment的方法修改并行度◆客户端级别$FLINK_HOME/bin/flink的-p参数◆系统级别修改$FLINK_HOME/conf/flink-confyaml文件并行度优先级◆算子级别>运行环境级别>客户端级别>系统级别·并行度不能大于Slot个数 工作w...原创 2020-04-03 23:52:13 · 437 阅读 · 0 评论 -
Flink自定义kafkaSource 和Sink
pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...原创 2020-04-01 17:22:04 · 3443 阅读 · 0 评论 -
Flink 自定义MySQL sink简单例子
package com.yqg.bigdata.dm.collection.repay.details;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.configuration.Configuration;import org.apache.flink.streaming.api.functio...原创 2020-03-31 18:46:27 · 944 阅读 · 0 评论 -
使用maven创建Flink项目
$ mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.10...原创 2020-03-27 23:04:36 · 4823 阅读 · 1 评论