flink 写kafka_Flink实战:写入SSL认证的Kafka并自定义序列化类

概述:   

    上篇文章:Flink实战:写入Kafka自定义序列化类和自定义分区器,里面讲了如何自定义分区和自定义序列化类向Kafka集群写入数据,上一个代码实例中的Kafka集群并没有开启SSL加密认证,Kafka开启SSLr认证的我之前也写了一篇文章:Kafka实战:集群SSL加密认证和配置(最新版kafka-2.4.0),之前对这块东西不是很熟悉的同行,自己去看下我这边文章,里面详细讲了如何开启和配置SSL,这里就不在说了,很多粉丝问我对于SSL加密的Kafka集群如何集成Flink进行消息的写入,我这里我给大家详细讲解下实例代码,今天我这里软件版本Flink1.9.0、Kafka2.4.0,不同版本依赖不太一样,建议自己根据自己的版本参考Flink的官网教程进行修改:

1.上篇文章的代码我没有粘贴我的maven依赖,可能好多人对这个比较晕乎,我这里直接把pom.xml也给你贴出来,里面有冗余依赖你可以自己调试删除一些:

   <properties>        <project.build.sourceEncoding>UTF-8project.build.sourceEncoding>        <log4j.version>1.2.17log4j.version>        <slf4j.version>1.7.22slf4j.version>        <flink.version>1.9.0flink.version>        <java.version>1.8java.version>        <scala.binary.version>2.11scala.binary.version>        <maven.compiler.source>${java.version}maven.compiler.source>        <maven.compiler.target>${java.version}maven.compiler.target>        <hbase.version>1.2.5hbase.version>                <kafka.version>2.4.0kafka.version>        <hadoop.version>2.7.3hadoop.version>        <httpclient.version>4.5.2httpclient.version>    properties>   <dependencies>        <dependency>            <groupId>junitgroupId>            <artifactId>junitartifactId>            <version>4.11version>            <scope>testscope>        dependency>        <dependency>            <groupId>org.apache.flinkgroupId>            <artifactId>flink-javaartifactId>            <version>${flink.version}version>                    dependency>        <dependency>            <groupId>org.apache.flinkgroupId>            <artifactId>flink-streaming-java_${scala.binary.version}artifactId>            <version>${flink.versio
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值