Flink
引领时尚S
这个作者很懒,什么都没留下…
展开
-
Flink on yarn日志输出
Flink on yarn日志输出-终极方案题主在做flink实时流时,一直不能在flink web上打印出日志,百思不得其解,想找到相应的日志文件,却也没找到,查阅了大量资料以及通过自己的实践,总算搞明白了flink on yarn的日志输出,这里写一篇文章,以此来记录。首先,我们在看flink的日志输出时,要先明白flink/conf下面的日志配置文件的作用。log4j-cli.pro...原创 2019-08-29 22:57:08 · 12609 阅读 · 5 评论 -
flink-kafka-mysql【flink消费kafka外部存储kafka偏移量,并满足事务机制】
flink-kafka-mysql【事务,外部管理偏移量】有时候,因为业务的需要,我们需要保证端到端的语义一致性。那么,如果我们将kafka的偏移量外存,再辅以事务机制,即可做到端到端的语义一致性。(当然,如果可能的话,我们只需要保证min等性,也不需要这么麻烦。)话不多说,直接上案例。首先,需要建立一张student表,以及kafka偏移量的表。CREATE TABLE `kafka` ...原创 2019-08-29 23:58:40 · 2020 阅读 · 17 评论