- 博客(2)
- 收藏
- 关注
RSS订阅原创 浅议用FlinkKafkaProducer实现sink端的Exactly Once语义
整个flink处理链路大致分为 Source -> Transform -> Sink三个环节. 选用支持消息持久化和重置消费位点的kafka组件即可保证Source端的数据精确一次处理。依靠flink自身的checkpoint机制保证Transform阶段的数据精确一次处理。本文讨论选用支持事务的kafka实现Sink端
2023-08-27 18:58:09
162
转载 Flink作业资源本地化时的相关路径
YARN 将资源分为三类：PUBLIC、PRIVATE 和 APPLICATION。不同级别的资源具有不同的访问权限，这直接影响了资源的本地化方式。 检查启动taskmanager的contaier日志,会发现flink作业中本地资源可见性为APPLICATION。这样，TaskManager在执行任务逻辑时可以直接使用本地的资源，无需再从远程 HDFS 上拉取文件，从而提高了作业的执行效率。
2023-07-19 19:59:15
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人