![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 72
iFence
微信公众号:大数据报文
展开
-
flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1
注意三个容器都映射了/opt/flink目录。docker-compose运行了一个jobmanager、一个taskmanager和一个sql-client。其次,username和password的双引号不需要写反斜杠,写反斜杠反而会报错。,分别放入上述三个文件夹的lib目录下。⑤后面的username和password需要根据实际情况修改。②标识的字段为topic中存储的字段,根据自己topic来。①标识字段为kafka自带字段,topic中没有也会自带。三个文件夹内容是一样的,只是名字不一样。原创 2023-12-20 10:01:30 · 2007 阅读 · 6 评论 -
kafka SSL认证
kafka with kraft 配置ssl加密原创 2023-01-09 21:45:04 · 1089 阅读 · 2 评论 -
[Kafka with kraft] SASL_PLAINTEXT认证
集成带SASL_PLAINTEXT的kafka原创 2023-01-09 17:55:53 · 1903 阅读 · 0 评论 -
【kafka-ui】支持kafka with kraft的可视化集群管理工具
支持kafka3.3.1的kafka可视化客户端,并且可以连接带认证的kafka集群原创 2023-01-03 22:03:33 · 7163 阅读 · 3 评论 -
Kafka3.3.1 docker镜像构建及使用说明
docker启动kafka原创 2022-12-08 16:15:17 · 3011 阅读 · 1 评论 -
Flink利用process算子进行分流操作
需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中,但是各种指标数据不尽相同,这时候需要将相同结构的数据收集到一起分开处理,就用到了Flink的分流操作。依赖主要有flink、kafka和解析json的依赖。<dependencies><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-str原创 2020-11-18 21:53:19 · 1560 阅读 · 0 评论 -
Kerberos认证的kafka常见错误记录
前言发现网上与kerberos有关报错信息少之又少,踩过的坑放在这里,希望可以帮到后来人。报错信息总结1. principal和keytab不匹配,这种问题,只需要在jaas文件中指定正确的账号密码即可Caused by: javax.security.auth.login.LoginException: Could not login: the client is being ...原创 2019-10-14 17:29:04 · 13042 阅读 · 6 评论 -
Kafka删除主题详解
背景在kafka的使用、测试过程中,可能老是会遇到想要删除某个主题的需求,但是由于对其内部机制不够了解,总是无法有效的删除主题。今天这篇文章详细讨论如何彻底的删除一个主题。删除主题的前提在kafka的broker端的配置参数中有这样一个参数:delete.topic.enable,必须将它设置为true才能够删除kafka主题。这个参数的默认值是true。如果配置为false那么删除主...原创 2019-09-05 20:02:44 · 3508 阅读 · 0 评论