简介:
本博客基于1.13.6版本Flink,在Flink实际生产过程中需要把数据从kafka中读取,处理后写入kafka中继续其他的逻辑,本博客支持精准一次写入flink操作,适用于建设实时数仓过程中以及一些需要flink处理kafka的需求中,本程序可以在本地运行,也可提交到yarn上运行,有完整的Flink代码,已完成编译,开箱简单修改即可用,避免了大家编程、编译、提交yarn上的一些错误。
本工程提供
1、项目源码及详细注释,简单修改即可用在实际生产代码
2、成功编译截图
3、linux提交命令
4、提交到yarn上截图
5、自己编译过程中可能出现的问题
6、测试kafka连接代码
7、精准一次写入kafka操作
成功编译成功信息如下
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ flink-kafka-to-kafka ---
[INFO] Building jar: D:\flink\flink-kafka-to-kafka\target\flink-kafka-to-kafka-1.0-SNAPSHOT.jar
[INFO]
[INFO] --- maven-assembly-plugin:3.0.0:single (make-assembly) @ flink-k