需求
需求为:我们需要把如下文本,按照“,“分隔。然后把每行第二列作为主键,第三列作为value塞到Redis里。
而flink要用到Redis必须要使用以下pom依赖
<!-- redis特性-->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-redis_2.11</artifactId>
<version>1.1.5</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
在使用flink redis connector时,一定要记得把slf4j-log4j12给排除掉,否则这个包日后会和我们在项目工程内的log4j2产生冲突而导致输不出日志。
完整的项目pom配置
pom.xml
<proj
这篇博客介绍了如何使用Flink 1.15.2进行Java开发,将文本文件内容按特定分隔符处理,并将处理后的数据作为键值对存入Redis。主要内容包括项目的pom配置、主程序代码、辅助类LineSplitter和SinkRedisMapper的实现,以及项目的运行结果展示。项目避免了slf4j-log4j12与已有log4j2的冲突问题。
订阅专栏 解锁全文
1217

被折叠的 条评论
为什么被折叠?



