Window Kafka-SASL/PALIN安装

最新推荐文章于 2024-08-05 19:24:08 发布
最新推荐文章于 2024-08-05 19:24:08 发布
阅读量340 收藏 1
点赞数 1
分类专栏： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mnicsm/article/details/104996155
版权

Window Kafka-SASL/PALIN安装

前些天公司领导不知道心血来潮还是怎么地，让我们下属去研究Kafka。既然领导让我们去研究我们就去安装一个来玩玩。Kafka不配置认证权限很容易搞定，需要做权限认证需要多配置一点东西。
网上百度一下很多这类文章看的眼花缭乱，哎各种方法去尝试，终于弄成功了。我接下来把我搭建步骤分享一下，希望需要搭建的朋友少走歪路。Kafka认证机制很好几种，我下面选择Kafka + SASL/PALIN安全认证机制。

应用程序版本
Kafkakafka_2.12-2.3.0
Zookeepe3.4.14

我之前不打算使用Kafka自带的Zookeeper，看了很多网友写的博客说Kafka自带的Zookeeper不稳定。但是不使用Kafka自带的Zookeeper，Kafka + SASL/PALIN这种认证方式，Kafka就是不能连接上Zookeeper。
在这里插入图片描述
百度了很多关于这块的资料都没找到，我相信很多网友也会遇到这个问题。解决过这块问题的网友分享一下经验。网上找到一篇http://quabr.com/53156781/kafka-to-zookeeper-digest-md5-authentication-error ，但是解决方案说的不怎么详细。
在这里插入图片描述
好无助啊，解决过得大哥大姐们传授下你们的经验啊。或可发送915734467@qq.com邮箱。

1.Zookeeper安装

我是用的是Kafka自带的Zookeeper，我本机遇到过这种问题，下载的Zookeeper 开启SASL认证方式，Kafka实例就是连接不上。最后我只能选择用的是kafka自带的ZK

1.1 修改zookeeper.properties

在这里插入图片描述
在这里插入图片描述

1.2 添加zookeeper_jaas.cfg文件

在config目录下创建一个zookeeper_jaas.cfg文件，文件内容如如下

Server {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    #username 和 password 是ZK之间通信用的
	username="admin" 
	password="admin-secret" 
	# user_ 前缀开头 用户名=kafka，用户密码=kafka-sec ，
	# 用户名=producer 用户密码=prod-sec 
	# 这个是kafka broker连接ZK的认证用户
	user_kafka="kafka-sec" 
	user_producer="prod-sec";
};

1.3 修改zookeeper-server-start.bat

我们不是创建了zookeeper_jaas.cfg文件文件吗？我们要把这个文件添加到运行环境中去。
在这里插入图片描述

IF ["%KAFKA_OPTS%"] EQU [""] (
    set KAFKA_OPTS=-Djava.security.auth.login.config=file:%~dp0../../config/zookeeper_jaas.cfg
)

执行zookeeper-server-start.bat …\config\zookeeper-server.properties 命令启动ZK服务
在这里插入图片描述

2.Kafka服务启动

2.1 server.properties

# ---- ACL AND RELATED STUFF
sasl.enabled.mechanisms=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
# Substitute with appropriate IP addresses:
listeners=SASL_PLAINTEXT://localhost:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
security.inter.broker.protocol=SASL_PLAINTEXT
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

2.2 kafka_server_jaas.conf创建

在config目录下创建kafka_server_jaas.conf配置文件，内容如下

KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    #username 和 password 是Kafka Broker之间通信用户
    username="admin"
    password="admin-sec"
    # 下面这些用户是 kafka-client验证用户 
    user_admin="admin-sec"
    user_producer="prod-sec"
    user_consumer="cons-sec";
};

Client {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    # 这个username 和 password 是Kafka Broker注册到ZK 用户验证，
    # 这个username 和 password 上面 zk_server_jaas.conf定义的用户
    username="kafka"
    password="kafka-sec";
};

2.3修改kafka-server-start.bat

我们需要把kafka_server_jaas.conf 添加到运行环境中，所以我们修改一下kafka-server-start.bat 去
在这里插入图片描述

IF ["%KAFKA_OPTS%"] EQU [""] (
    SET KAFKA_OPTS=-Djava.security.auth.login.config=file:%~dp0../../config/kafka_server_jaas.conf
)

2.3启动kafka服务实例

上述配置信息准备好后，我们就可以启动Kafka服务实例了，执行以下命令

.\kafka-server-start.bat ..\..\config\server.properties

在这里插入图片描述
在这里插入图片描述

3.常见异常

3.1 Zookeeper错误

Kafka自带zookeeper报错INFO Got user-level KeeperException when processing xxx Error Path:/brokers Error:KeeperErrorCode = NodeExists for /brokers (org.apache.zookeeper.server.PrepRequestProcessor)
问题描述：

按照kafka官方文档的操作步骤，解压kafka压缩包后。依次启动zookeeper，和kafka服务

kafka服务启动后，查看到zookeeper日志里有以下异常
在这里插入图片描述

问题原因及解决办法：

网上查找资料，找到zookeeper日志异常原因—这不是一个报错故障，只是一个user-level KeeperException。可以忽略不做处理的

kafka安装好后，第一次启动。zookeeper日志Error:KeeperErrorCode = NoNode for /config/topics/test，是因为kafka请求访问这个路径，但是这个路径还不存在，zookeeper就抛了这个error。kafka会创建这个topic，然后访问zookeeper里topic对应的路径，zookeeper日志抛出error NodeExists for /config/topics（kafka已经把topic创建好了），路径已经存在了。

综上所述，这些error是正常的日志信息，可以忽略。

网友给的解释的链接和截图：

https://stackoverflow.com/questions/43559328/got-user-level-keeperexception-when-processing
在这里插入图片描述

3.2 集群连接操作

我今天有一个困惑，Kafka 将一些元数据信息注册到ZK 。但是kafka 消费者、生产者配置为何使用 bootstrap-servers 而不是 zookeeper 服务器地址？
今天运气好找到一篇文章解析的挺好的，我贴出来分享一下。文章的源地址https://www.v2ex.com/amp/t/475490

  1. bootstrap servers 如其名，只需要配个两三个就行了，会自动发现其他 broker

  2. zookeeper 本来只是 Kafka 实现所需要的依赖，暴露给 kafka 使用者我觉得没必要

  3. Kafka 所有的信息可以通过 API 来获得

  4. 0.8 以前，消费进度是直接写到 zookeeper 的，consumer 必须知道 zookeeper 的地址。这个方案有性能问题，0.9 的时候整体大改了一次，brokers 接管了消费进度，consumer 不再需要和 zookeeper 通信了。

  5. 至于 producer, 我记得传进去的参数是 broker list, 是不会自动发现其它 brokers 的。

  6. 新版的 Kafka 使用一个选举出来的 controller 来监听 zookeeper，其他 node 再去和 controller 通信，这么做的目的是为了减少 zookeeper 的压力。bootstrap-servers 会自动发现其他 broker，这也是 bootstrap 的含义。

4.Kafka常用命令

4.1 查看Topics列表

在这里插入图片描述

4.2 Topic分区信息

执行kafka-topics.bat --zookeeper localhost:2181/kafka-cluster --describe --topic TopicName
在这里插入图片描述

4.3 查看Topics消息

执行.\kafka-consumer-groups.bat --bootstrap-server localhost:9092 --describe --group SlMember_20200330_Group
在这里插入图片描述
LogEndOffset ：下一条将要被加入到日志的消息的位移
CurrentOffset ：当前消费的位移
LAG：消息堆积量 = LogEndOffset - CurrentOffset
在这里插入图片描述
在这里插入图片描述
消息发送到LeaderA之后会更新LEO的值，FollowerB和FllowerC也会实时拉取LeaderA中的消息来更新自己，HW就表示A、B、C三者同时达到的日志位移。也就是A、B、C三者中LEO最小的那个值。由于B、C拉取A消息之间延时问题，所有HW必然不会与Leader的LEO相等，即LEO>=HW

Riven Chen
关注
专栏目录
Window下kafka 单机SASL_PLAINTEXT加密及身份认证
小白菜呀
11-28 2685
一：前情提要 SASL_PLAINTEXT是一种简单的用户名和密码认证机制，是一种kafka加密协议，PLAINTEXT是传输层协议 二：配置准备 1：JAVA_HOME  有JAVA_HOME的环境变量，且java版为1.8及以上，jdk目录无中文和空格； 2：KAFKA项目部署 下载解压KAFKA项目到一个无中文无空格的目录下。配置非加密下的KAFKA环境，参考Windows环境下...
Kafka3.3单机模式-Windows-SASL/PLAIN身份验证-使用自带zookeeper
weixin_68970731的博客
11-04 2214
kafka3.x版本单机模式下的sasl/plain权限设置，包含zk的权限设置、topic的权限设置、group的权限设置等
kafka安全认证与授权（SASL/PLAIN）
u011618288的博客
02-09 8509
快速搭建kafka SASL+ACL实现安全认证、授权 kafka SASL/PLAIN
windows环境下scala安装
最新发布
taogumo的专栏
08-05 427
Windows环境安装scala
windows下安装sasl
NFII
12-19 2963
由于直接pip安装会报错，因此前往https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下载.whl文件 注意下载适配的型号（否则会报错is not a supported wheel on this platform），查看适配型号，在命令行键入一下命令（参考https://blog.csdn.net/happywlg123/article/details/107281936） pip debug --verbose 下载好的.whl文件放在python目录的
windows安装kafka配置SASL-PLAIN安全认证
peter_qyq的博客
08-03 2206
confluent是平台化的工具，封装了kafka，让我们可以更方便的安装和使用监控kafka，作用类似于CDH对于Hadoop。confluent是由LinkedIn开发出的团队成员，基于这项技术创立了新公司ConfluentConfluent的产品也是围绕着Kafka做的。
Kafka配置6--Windows下设置和增加SASL用户或用户权限
Quber
04-03 1543
Kafka配置1--Windows环境安装和配置Kafka Kafka配置2--Windows下配置Kafka的SASL-PLAIN身份验证 Kafka配置3--Windows下配置Kafka集群 Kafka配置4--Windows下配置Kafka的SSL证书 Kafka配置5--Windows下配置Kafka的集群+SASL+SSL 在前面的文章中，我们给Zook...
安装sasl python模块
weixin_34221036的博客
12-05 5017
python2 pip安装sasl报错 Debian/Ubuntu: apt-get install python-dev libsasl2-dev gcc CentOS/RHEL: yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 转载于:https://blog.51cto.com/chenwenming/2326...
Kafka安装配置（SASL/SCRAM动态认证）
davidhhs的博客
05-26 3192
SASL/SCRAM验证方法可以在Kafka服务启动之后，动态的新增用户分并配权限，在业务变动频繁，开发人员多的情况下比SASL/PLAIN方法更加灵活。
/usr/local/kafka/kafka_2.13-2.7.1/bin/kafka-run-class.sh: 第 318 行:exec: java: 未找到 问题已解决
qq_43366662的博客
11-03 1899
在启动kafka时，需要启动zookeeper服务端 [dream@localhost bin]$ sudo ./zookeeper-server-start.sh ../config/zookeeper.properties 启动时，可能会报以下错误 /usr/local/kafka/kafka_2.13-2.7.1/bin/kafka-run-class.sh: 第 318 行:exec: java: 未找到 根据错误提示，我们打印以下该文件的318行： exec "$JAVA" $KAFKA_HEA
解决：“/****/kafka_2.13-3.0.0/bin/kafka-run-class.sh: line 342: exec: java: not found ”问题
一切有为法，如梦亦如幻，如露亦如电，应作如是观。
03-10 3983
问题： 启动zookeeper失败，查看状态日志，如下图： 解决 kafka运行依赖java环境，而本机已安装java环境 查看java环境变量 查看kafka环境变量 回到问题本身，我们看一下kafka-run-class.sh脚本的342行内容： 这里网上搜了很久，获悉kafka默认引用的java路径：/user/bin/java，这个与我们实际配置的java的环境变量$JAVA_HOME/bin路径不一致。 这里，借鉴一下前辈的办法： 修改java环境变量配置(.
sasl-0.1.3-cp27-none-win_amd64.whl
06-07
Python连接hive server2时需要安装pyhs2，而在windows下安装pyhs2时需要先安装sasl
kafka及kafkaEagle详细安装部署步骤及相关安装文件下载
11-05
kafka安装部署文档及相关安装包 kafka-eagle安装部署步骤及相关安装包
kafaks-window安装包和使用文档
11-28
kafak安装包及依赖文件，python使用说明以及kafka详细安装包
Kafka 开启 SASL/PLAINTEXT 认证及 ACL
我吃柠檬的博客
07-06 4999
Linux 安装 Kafka 并开启 SASL/PLAINTEXT 认证
kafka windows环境搭建 SASL_PLAINTEXT/SCRAM
xplj2013的博客
06-22 566
本地kafa windows 搭建SASL_PLAINTEXT/SCRAM 进行用户认证
Kafka配置5--Windows下配置Kafka的集群+SASL+SSL
Quber
04-03 1430
根据前4篇文章，我们可以从零开始搭建Kafka的环境，包括集群、SASL和SSL证书等配置，这篇文章就不做详细的说明了，详细说明请查看如下4篇文章，该文主要是以最简单的说明方式将这一套完整的配置展示给大家。 Kafka配置1--Windows环境安装和配置Kafka Kafka配置2--Windows下配置Kafka的SASL-PLAIN身份验证 Kafka配置3--Wind...
windows下hive安装no module named sasl错误解决
sinat_28704977的博客
08-06 3797
Windows下pyhive无法使用的解决方案 Windows下使用pyhive连接hive的代码例子如下 from pyhive import hive conn = hive.Connection(host='172.100.0.11',port=10000) cursor ...
Windows通过api连接zookeeper，报错SASL config status: Will not attempt to authenticate using SASL (unknown e
海螺的博客
12-02 1068
1. 问题描述 2. 问题解决 在本机hosts（C:\Windows\System32\drivers\etc\hosts）添加zookeeper服务器IP与服务器主机名的映射关系（服务器ip 服务器主机名）
from kafka.manager.ApiError$ in pool-1-thread-2 error : Ask timed out on [ActorSelection[Anchor(akka://kafka-manager-system/), Path(/user/kafka-manager/xxx/kafka-state)]] after [2000 ms]. Message of type [kafka.manager.model.ActorModel$KSGetTopicDescription] was sent by [Actor[akka://kafka-manager-system/user/kafka-manager/xxx#-1816088104]]. A typical reason for `AskTimeoutException` is that the recipient actor didn't send a reply.
07-14
这是一个关于 AskTimeoutException 的错误消息，表示在进行请求-响应模式的通信时，发送方等待回复的时间超过了预定的超时时间。具体错误信息中提到了发送方和接收方的actor信息：发送方是 [Actor[akka://kafka-manager-system/user/kafka-manager/xxx#-1816088104]]，接收方是 [ActorSelection[Anchor(akka://kafka-manager-system/), Path(/user/kafka-manager/xxx/kafka-state)]]。 这种错误通常是由于接收方的actor没有发送回复消息导致的。可能是接收方的actor出现了问题，无法正常发送回复消息，或者由于网络延迟等原因导致消息无法及时返回。你可以检查接收方的actor代码，确保它正确地发送回复消息。另外，你也可以尝试调整超时时间来适应实际情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值