Kafka
文章平均质量分 91
Smallc0de
勤学如春起之苗,不见其增,日有所长;辍学如磨刀之石,不见其损,日有所亏。
展开
-
Apache Kafka API AdminClient Scram账户的操作(增删改查)
很久没有更新Kafka API相关的文档了,因为笔者工作变动Kafka这部分内容在工作中接触的就相对于之前少了一些。但架不住kafka官方还是一如既往的勤奋,官方操作Scram账户的创建与删除这部分已经更新了好久了,这次也算是填坑吧,主要就是针对alterUserScramCredentials方法做一个功能说明和demo。给网上少之又少的Kafka API中文使用教程做个增补,本次基于Kafka API 2.8.0,同时适用于2.7.0版本。原创 2021-08-01 12:46:50 · 1665 阅读 · 9 评论 -
Apache Kafka API AdminClient Scram账户的创建与删除
由于Apache官方一直没有提供AdminClient中对账户这一块的操作,因此这部分大多数时候都是用命令行去操作的,但是命令行毕竟不是很方便。为了解决这部分问题,笔者去读了Kafka Scala的源码,从中梳理出来这部分内容供给大家参考。原创 2021-03-02 15:48:23 · 1595 阅读 · 10 评论 -
Kafka 如何给集群配置SSL认证
主要提供一个实例说明给Kafka集群配置SSL/SALS双重安全认证,包括配置文件内容,验证的例子,报错处理等等内容。原创 2021-02-23 17:27:52 · 3408 阅读 · 3 评论 -
Kafka 如何给集群配置Scram账户认证
详细描述Kafka如何配置一个Scram账号认证的访问方式,以及注意事项,错误解决等等。原创 2021-02-19 20:28:23 · 6125 阅读 · 8 评论 -
Apache Kafka API AdminClient 查看账户权限
主要介绍了如何查看Kafka中账户的权限,以及权限的内容原创 2021-02-04 18:17:20 · 1270 阅读 · 0 评论 -
Apache Kafka API AdminClient Group ID 创建、删除、查询
介绍功能如下:查询Group ID列表,指定Group ID查询信息,创建Group ID并绑定到账户,删除Group ID并解除账户绑定等等。原创 2021-02-04 17:39:24 · 3917 阅读 · 2 评论 -
Apache Kafka API AdminClient 修改Topic的Partition
前言好久没有更新AdminClient的博客,主要是一直在摸索怎么用的,官网写的太简略,只能一边研究官网,一边研究源码注释。而且KafkaAPI更新速度飞一样,版本兼容也是个问题,刚刚知道怎么用的,版本过时了又得看新的。而且有些功能API没有提供,就只能去钻研Scala源码,好在和Java差不了很多,虽然不会写,但是勉勉强强能读懂,对于笔者正在开发的项目来说真是崩溃了。所以等笔者把这些内容整理整理,让大家操作Kafka更加顺手。下面就是开始博客正文了,更多内容请点击【Apache Kafka API Ad原创 2021-02-03 19:34:51 · 1772 阅读 · 0 评论 -
Apache Kafka API AdminClient 账号对Topic权限赋予与移除
Apache Kafka API AdminClient 账号权限赋予与移除原创 2020-11-02 18:11:38 · 1807 阅读 · 7 评论 -
Apache Kafka API AdminClient 修改Topic参数的操作
这一系列的博客已经写了AdminClient对象的获取,Topic的创建与删除,Topic信息的查询,那么本篇就要轮到怎么操作才能修改Topic的参数了。由于Apache Kafka API 的更新导致了2.1.x和2.5.x版本脱节严重。因此最新的2.5.x版本的修改已经不在适用于Kafka低版本的操作,因此笔者会把两个版本的API使用都展示出来方便大家阅读。原创 2020-10-26 21:35:02 · 1362 阅读 · 8 评论 -
Apache Kafka API AdminClient Topic信息的查询
Apache提供的AdminClient中针对Topic的操作除了增删以外,自然还会有查询功能。本篇的主要内容是获取Topic列表,获取单个topic的详细信息等等。原创 2020-10-26 18:33:27 · 3335 阅读 · 8 评论 -
Apache Kafka API AdminClient Topic的创建与删除
AdminClient上一篇【Apache Kafka API AdminClient 获取对象】我们说了怎么获取一个AdminClient,那么这篇博客我们就说下怎么用AdminClient去创建和删除topic的。这个功能可以说是非常有用的,当你的需求越来越多的时候,可能会面临一次创建数十个或者数百个topic的状况。这个时候一个一个的用命令行敲进去显然是要敲死人的,真的是会敲死人的,问我为什么知道呢?笔者最多一次敲过183个topic并给相关的账号赋权,敲了整整三天的回车,Ctrl C和Ctrl V原创 2020-10-12 18:27:06 · 2193 阅读 · 6 评论 -
Apache Kafka API AdminClient 目录
前言最近工作上需要使用Java开发一个操作Kafka的Portal,因为使用命令行去操作比较反人类,尤其是需要进行大量的增删操作的时候。所以研究了一下Apache提供的官方JAVA API应用到了Portal上。在实施的过程中,发现这部分网上可用资料也比较稀少,即便找到几篇也十分的不详细,或者版本比较老旧,或者还在用Zookeeper提供的那一套API,更有甚者干脆互相抄,所以就决定写一个系列希望能帮助到大家了解AdminClient的使用。笔者使用的Porm依赖如下:<dependency&g原创 2020-10-12 17:36:38 · 2368 阅读 · 0 评论 -
Apache Kafka API AdminClient 获取对象
AdminClient这个类是操作Kafka的核心,但是我们并不需要直接new出来,因为Apache提供的这个类是通过反射拿到实例对象的,而所有需要的参数都是通过Properties对象设置并传递进去的。更多内容请点击【Apache Kafka API AdminClient系列】获取AdminClient对象:AdminClient提供了一个create()方法用于创建该类的实例,官网介绍如下:非常的简洁,基本上没啥作用。那这玩意儿怎么用呢?下面举个例子创建这个对象.static Strin原创 2020-10-12 17:35:58 · 1250 阅读 · 6 评论 -
Kafka服务器集群详细安装教程
前言本篇文章主要讲解Kafka的集群搭建以及一些注意事项。之所以写这篇博客,是因为网上充斥着单机集群搭建的教程。但是服务器集群和单机虽说是理论上是通的,但是不一样的地方还是很多,尤其是Zookeeper操作就明显不一样。至少得先把Zookeeper搭建起来成功运行才能继续Kafka集群的搭建。而且在配置上服务器集群和单机集群确实有很多注意不到的点。这篇文章就是要把服务器集群整个流程写下来,供给后来者以参考。以及笔者搭建过程中遇到的问题,也一并梳理出来,帮助大家搭建一个可用的Kafka生产集群。当然这个文章原创 2020-08-02 22:35:35 · 1734 阅读 · 1 评论