kafka
文章平均质量分 88
青冬
想改变世界,却困于肉身。
展开
-
Kafka 中 SASL ACL SSL 到底分别代表什么意思
看各类帖子都没能指出这些到底是什么意思,他们是冲突的,还是互相作用的,还是隔离的?本文讲解 `kafka` 中 `SASL`、`ACL`、`SSL` 他们分别的作用以及含义。原创 2023-05-26 10:18:48 · 3204 阅读 · 3 评论 -
Kafka ui 搭建以及使用
kafka 本身没有自带相关的 ui 界面,但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset 等等。但实际使用中这种效果很差劲,我们一般还是会借助其他软件,实现对 kafka 的页面管控。结合这张图与实际体验,推荐大家使用 ui for apache kafka 进行 kafka 的 ui 界面化管理。其实 kafka-ui 是没有安装过程的,在 github 上已经打包成了 jar 包,当前最新版本为 ,下载地址如下:https://git原创 2022-12-07 23:35:29 · 15087 阅读 · 0 评论 -
Kafka 3.3.1 Kraft 多端口协议搭建,无zookeeper
Kafka 3.3.1 已经出来挺久了,很多公司还停留在 1.X/2.X 甚至 0.8 版本的 kafka,不是说不能用,但是用起来真的糟糕,况且现在 Kraft 已经正式推出了,早就该更新了。本篇文章从实践角度出发,使用真实的搭建手册改编,带领大家搭建多网卡、多端口、多认证的 Kafka 3.3.1 on Kraft。预计效果,内部通信的非认证、内部数据传输的 sasl-plain、外部数据消费的 sasl-ssl。Kafka 2.12-3.3.1 with KRaftauth: huangyichun原创 2022-12-07 00:00:02 · 1922 阅读 · 0 评论 -
ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Serializer
ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Serializer背景在Flink使用Kafka进行Source 或者Sink的时候需要进行KeyValue的序列化和反序列化操作。现在应该没有人用Kafka 0.XX版本的了吧,估计都是1.X 或者2.X版本。在这两个版本中,可以直接使用更新的Flink-Kafka-connection 包,具体使用可以参照官网。报错类型消费和生产弄原创 2021-06-06 21:22:56 · 2113 阅读 · 1 评论 -
Flink写500亿/天数据到远端Kafka排错、Flink优化记录。
序since:2021年6月3日 19:32suth: Hadi注:由于为公司项目,所以大多数内容进行了屏蔽或删除处理,记录此只是希望大家继续学习,如果发现任何ip、人物、服务器等信息,请立即私信我进行更改,请勿走上违法犯罪道路!前言5月26号接到上级命令,协助优化Flink推送数据,现在问题有数据掉落,数据重复,数据积压,数据损坏等等,基本能遇到的数据推送的问题全都有了。所用核心数为105核(本文所有的资源与数据量都是以A预处理集群进行讨论的),单核单位MEM为4G,数据...原创 2021-06-06 16:26:57 · 3762 阅读 · 12 评论 -
Kafka基础-各类概念-复习手册
序参考:https://blog.csdn.net/wk52525/article/details/96985534https://blog.csdn.net/fedorafrog/article/details/103957908《深入理解Kafka:核心设计与实践原理总结》Kafka作为当前热门的分布式消息队列,具有高性能、持久化、多副本备份、横向扩展能力的特点。Kafka的基础不多,挤一挤,(然后弄完真的tm多)基本概念体系架构Pr...原创 2021-05-26 23:30:23 · 186 阅读 · 0 评论