![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
007在学算法
拒绝低效率勤奋,保持高效思考
展开
-
flink file sink
写入hadoop filesystemref设置写入其他hadoop集群配置写入streaming file sink官网原创 2021-01-25 17:33:13 · 95 阅读 · 0 评论 -
flink physical partition
几种分区策略rebalancerescaleforward原创 2021-01-22 18:11:32 · 90 阅读 · 0 评论 -
flink state ttl
flink ttl类型一般来说ttl用在keyedStream中,官网只介绍了keyedflink ttl用法import org.apache.flink.api.common.state.StateTtlConfig;import org.apache.flink.api.common.state.ValueStateDescriptor;import org.apache.flink.api.common.time.Time;StateTtlConfig ttlConfig = Stat原创 2020-07-06 17:31:21 · 322 阅读 · 0 评论 -
flink 8 state checkpoint savepoint区别
state记录各个流程中的状态,比如valuState listStatecheckpoint在程序挂掉时,可以从checkpoint恢复任务,程序内部恢复时用savepoint在程序kill时,保存当时快照,可以从这个点重新启动任务watermark原创 2020-06-23 19:43:54 · 139 阅读 · 0 评论 -
flink 7-提交任务
提交方式一般都是提交到yarn上,当然单机也是可以跑的,而且单机不用安装flink和hadoopyarn1提交到yarn-clusterflink -m yarn-cluster -c className -j *.jar -d > log.log 2&1 &yarn2先启一个yarn-session,在yarn上开辟一块资源,这时会生成一个yid,然后向这个资源池里提交任务flink -n 9 -tm 1024 -s 4 -nm Name -d然后向这个yid中提原创 2020-06-23 19:24:29 · 244 阅读 · 0 评论 -
flink 6-检查点和水位线
保持数据一致性checkpointwatermark原创 2020-03-26 14:59:50 · 235 阅读 · 0 评论 -
flink 5-窗口和时间
Timetime有几种类型,每种是干啥的event time事件时间,就是该时间在flink外创建的时间戳,非flink内部时间ingestion time提取时间,就是进入flink的时间process time处理时间,就是处理流时的时间windowwindow有几种类型,每种是干啥的...原创 2020-03-26 13:47:59 · 283 阅读 · 0 评论 -
flink 3-转换
转换 transformationmapflatMapreducekeyBy原创 2020-03-24 12:36:50 · 155 阅读 · 0 评论 -
flink 4-输出
输出格式fileimport org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.datastream.SingleOutputStre...原创 2020-03-24 12:22:05 · 129 阅读 · 0 评论 -
flink 2-数据源
各种数据源file原创 2020-03-24 12:07:05 · 120 阅读 · 0 评论 -
flink 1-个人理解
flink流程创建env,就是起一个环境添加源(就是数据从哪儿来),文件、socket、collection、addSource处理数据(transformation)消费数据(把数据放哪儿)files、sockets、external system、print、addSink...原创 2020-03-24 11:41:53 · 94 阅读 · 0 评论