夫唯不争，故天下莫能与之争。

yarn集群模式提交Flink任务时，无法查看日志，数据传输都正常，taskManager的日志无法显示，找不到方法。F12查看接口报错，具体报错如下：Exception on server side:org.apache.flink.util.FlinkException: The file LOG is not available on the TaskExecutor. at org.apache.flink.runtime.taskexecutor.TaskExecutor.r

本着开源的精神将学习成果分享，转载请注明出处。问题复现场景对每条流数据进行关键字检测，对符合条件的消息进行拦截。例如关键字是 java，则消息 java是世界上最优秀的语言就会被拦截。需求拦截的关键字不一定是 java，可能需要变更拦截关键词，例如： php。因此关键字必须做到是可配置的。问题我们首先想到的是存在数据库或外部传入参数。但又因为该关键词是在算子中作为一个变量，一旦作业启动，想修改关键字不得不停掉作业，然后再重新启动作业。繁琐且不友好，有没有什么可以动态的修改算子.

flink 中的一个大的特性就是exactly-once的特性，我们在一般的流处理程序中，会有三种处理语义at most once : 至多一次，表示一条消息不管后续处理成功与否只会被消费处理一次，那么就存在数据丢失可能 exactly once : 精确一次，表示一条消息从其消费到后续的处理成功，只会发生一次 at least once ：至少一次，表示一条消息从消费到后续的处理成功，可能会发生多次我们在程序处理中，通常要求程序满足exactly-once,就是确保数据的准确性，不丢失，不重复，

本文是翻译作品，作者是Piotr Nowojski和Michael Winters。前者是该方案的实现者。原文地址是https://data-artisans.com/blog/end-to-end-exactly-once-processing-apache-flink-apache-kafka2017年12月Apache Flink社区发布了1.4版本。该版本正式引入了一个里程碑式的功能：两阶段提交Sink，即TwoPhaseCommitSinkFunction。该SinkFunction提取并

Apache Flink 应用程序中的 Exactly-Once 语义 Flink 应用程序端到端的 Exactly-Once 语义 示例 Flink 应用程序启动预提交阶段 在 Flink 中实现两阶段提交 Operator 总结Apache Flink自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性：TwoPhaseCommitSinkFunction...

看完本文，你能get到以下知识 介绍CheckPoint如何保障Flink任务的高可用 CheckPoint中的状态简介 如何实现全域一致的分布式快照？ 什么是barrier？什么是barrier对齐？ 证明了：为什么barrier对齐就是Exactly Once？为什么barrier不对齐就是 At Least Once？ Flink简介Apache Flink® - ...

转载自：https://yq.aliyun.com/articles/674448简介Streaming101起源于在O'really上发表的两篇博客，原文如下：https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101https://www.oreilly.com/ideas/the-world-beyond-ba...