![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 57
不名一文
飞翔的菜鸟,keep moving
展开
-
Flink Kafka
如自定义 KafkaSerializationSchema。且调用 FlinkKafkaProducer(String defaultTopic,KafkaSerializationSchema serializationSchema,Properties producerConfig,FlinkKafkaProducer.Semantic semantic) 构造器。此时分区器为null。此时依次调用了方法。send方法为kafka的发送方法。原创 2022-01-14 19:41:28 · 2700 阅读 · 0 评论 -
Flink state&fault tolerant
1.状态(state)简介1.1状态概念在数据流中有一些算子只是一个单独的计算(map,flatmap),而有些算子需要记录跨多个事件的信息(window算子),那么称这个算子为为有状态的参考1.2状态分类➢ 总的说来,有三种类型的状态1.2.1算子状态(Operator State)Operator State(ornon-keyed state) is state that is is bound to one parallel operator instance..原创 2020-12-13 21:03:56 · 155 阅读 · 0 评论 -
Flink time&watermark&window
1.Time&WaterMark1.1时间分类 事件时间(event time):事件产生的时间,记录的是设备生产(或者存储)事件的时间 摄取时间(ingestion time):Flink 读取事件时记录的时间 处理时间(processing time):Flink pipeline 中具体算子处理事件的时间 默认情况下,使用的是processingtime;实际生产过程中,我们有些时候关注的是 event time如果想要使用event time,需...原创 2020-12-13 12:02:31 · 270 阅读 · 0 评论 -
flink datastream api
1.Flink 运行模型2.Flink 程序架构3.Environment4.Source5.Sink6.Transformation原创 2020-12-20 12:22:42 · 127 阅读 · 0 评论 -
flink部署&运行架构
Flink部署本节主要记录standalone和on yarn两种部署方式Standaloneconf 目录下调整文件主要关注如下文件flink-conf.yam通用配置jobmanager地址jobmanager.rpc.address: localhostjobmanager端口号jobmanager.rpc.port: 6123jobmanager jvm 堆内存jobmanager.heap.size: 1024mTaskManager堆内存taskm原创 2020-11-03 23:57:14 · 1319 阅读 · 0 评论