概述:
上篇文章:Flink实战:写入Kafka自定义序列化类和自定义分区器,里面讲了如何自定义分区和自定义序列化类向Kafka集群写入数据,上一个代码实例中的Kafka集群并没有开启SSL加密认证,Kafka开启SSLr认证的我之前也写了一篇文章:Kafka实战:集群SSL加密认证和配置(最新版kafka-2.4.0),之前对这块东西不是很熟悉的同行,自己去看下我这边文章,里面详细讲了如何开启和配置SSL,这里就不在说了,很多粉丝问我对于SSL加密的Kafka集群如何集成Flink进行消息的写入,我这里我给大家详细讲解下实例代码,今天我这里软件版本Flink1.9.0、Kafka2.4.0,不同版本依赖不太一样,建议自己根据自己的版本参考Flink的官网教程进行修改:
1.上篇文章的代码我没有粘贴我的maven依赖,可能好多人对这个比较晕乎,我这里直接把pom.xml也给你贴出来,里面有冗余依赖你可以自己调试删除一些:
<properties> <project.build.sourceEncoding>UTF-8project.build.sourceEncoding> <log4j.version>1.2.17log4j.version> <slf4j.version>1.7.22slf4j.version> <flink.version>1.9.0flink.version> <java.version>1.8java.version> <scala.binary.version>2.11scala.binary.version> <maven.compiler.source>${java.version}maven.compiler.source> <maven.compiler.target>${java.version}maven.compiler.target> <hbase.version>1.2.5hbase.version> <kafka.version>2.4.0kafka.version> <hadoop.version>2.7.3hadoop.version> <httpclient.version>4.5.2httpclient.version> properties> <dependencies> <dependency> <groupId>junitgroupId> <artifactId>junitartifactId> <version>4.11version> <scope>testscope> dependency> <dependency> <groupId>org.apache.flinkgroupId> <artifactId>flink-javaartifactId> <version>${flink.version}version> dependency> <dependency> <groupId>org.apache.flinkgroupId> <artifactId>flink-streaming-java_${scala.binary.version}artifactId> <version>${flink.versio