Zk3.6+Kafka2.1+KafkaEagle2.0鉴权安装

最新推荐文章于 2023-04-24 09:58:51 发布
最新推荐文章于 2023-04-24 09:58:51 发布
阅读量596 收藏
点赞数
分类专栏： 环境部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44768189/article/details/114543070
版权

一、文档

  • 中文文档：http://kafka.apachecn.org/documentation.html
  • 官方文档：http://kafka.apache.org/quickstart

二、安装JDK,添加环境变量

  • 安装jdk8以上环境变量

三、zookeeper鉴权安装

  • 此步骤是添加zookeeper与kafka之间的安全认证
  • 下载地址：https://downloads.apache.org/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz

1，下载并解压

#解压到/data1
cd /data1
#解压
tar -zxf apache-zookeeper-3.6.2-bin.tar.gz

2，conf目录配置文件zoo.cfg

#改个名
mv apache-zookeeper-3.6.2-bin apache-zookeeper-3.6.2
#进入conf目录下复制zoo_sample.cfg名为zoo.cfg
cd conf
cp zoo_sample.cfg zoo.cfg

修改zoo.zfg以下配置项，没有则新增

#数据目录
dataDir=/data1/apache-zookeeper-3.6.2/data
#日志目录
dataLogDir=/data1/apache-zookeeper-3.6.2/logs
#开启鉴权
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

3，在conf目录下创建zk_server_jaas.conf文件，配置zookeeper用户名密码

vi zk_server_jaas.conf

内容如下

Server {
  org.apache.zookeeper.server.auth.DigestLoginModule required
  user_kafka="pwd";
};
  • 通过“ user_ "为前缀后接用户名方式创建连接代理的用户名和密码，例如，user_kafka=“pwd” 是指用户名为kafka， 密码为pwd。

4，添加JVM参数

修改zkServer.sh启动脚本，在第一行添加JVMFLAGS参数加载zk_server_jaas.conf文件

vi zkServer.sh

添加以下内容

export JVMFLAGS="-Djava.security.auth.login.config=/data1/apache-zookeeper-3.6.2/conf/zk_server_jaas.conf -Dzookeeper.allowSaslFailedClients=false"

5，启动zookeeper

cd ../bin
#启动
./zkServer.sh start
#停止
./zkServer.sh stop

四、Kafka鉴权安装

  • 此步骤添加生产者消费者连接kafkaServer的安全认证
  • 下载地址：http://kafka.apache.org/downloads
  • 下载指定版本：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.7.0/kafka_2.13-2.7.0.tgz

1，下载并解压

#解压到/data1
cd /data1
#解压
tar -zxf kafka_2.13-2.7.0.tgz

2，修改config目录下server.properties

cd kafka_2.13-2.7.0/config
vi server.properties

需要修改以下配置项

#指定服务的ip和端口,省略ip或配置hostname需要配置host与ip的映射关系
listeners=SASL_PLAINTEXT://192.168.25.202:9092
#日志路径
log.dirs=/data1/kafka_2.13-2.7.0/logs
#zookeeper地址
zookeeper.connect=localhost:2181

新增以下配置开启kafka鉴权

#kafka鉴权配置
advertised.listeners=SASL_PLAINTEXT://192.168.25.202:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=true
zookeeper.set.acl=true

3，在conf目录下创建vi kafka_server_jaas.conf文件

vi kafka_server_jaas.conf

添加以下内容

KafkaServer {
  org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="pwd"
    user_admin="pwd";
};
Client {
  org.apache.zookeeper.server.auth.DigestLoginModule required
  username="kafka"
  password="pwd";
};

配置说明：

  • kafkaServer配置项定义了一个用户名为admin，密码为pwd的用户，此项就是连接kafka的用户名和密码；
  • Client配置了zookeeper和kafka之间的验证，需要和之前在zookeeper的confg下创建的zk_server_jaas.conf用户名密码一致；

4，添加JVM参数

修改kafka-server-start.sh启动脚本，加载kafka_server_jaas.conf文件。

找到KAFKA_HEAP_OPTS参数，在其后添加

-Djava.security.auth.login.config=/data1/kafka_2.13-2.7.0/config/kafka_server_jaas.conf

效果如下

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=/data1/kafka_2.13-2.7.0/config/kafka_server_jaas.conf"

5，启动

#进入kafka安装目录
/data1/kafka_2.13-2.7.0
#启动
bin/kafka-server-start.sh -daemon config/server.properties
#停止
bin/kafka-server-stop.sh

五，控制台生产者和消费者鉴权

1，创建client认证文件

此文件是后面console的生产者和消费者使用 ，配置kafka用户名为admin密码pwd；

vi kafka_client_jaas.conf

添加以下内容

KafkaClient {
        org.apache.kafka.common.security.plain.PlainLoginModule required
        username="admin"
        password="pwd";
};

2，添加kafka-console-producer.sh和kafka-console-consumer.sh 的认证文件路径

KAFKA_HEAP_OPTS后添加参数

-Djava.security.auth.login.config=/data1/kafka_2.13-2.7.0/config/kafka_client_jaas.conf

3，修改 config/producer.properties 和 config/consumer.properties

添加以下两行

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

4，测试启动生产者和消费者

先启动消费者，等待接收消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.25.202:9092 --topic test --from-beginning --consumer-property security.protocol=SASL_PLAINTEXT --consumer-property sasl.mechanism=PLAIN

再启动生产者，执行以下命令后，就会在控制台等待键入消息体，直接输入消息值(value)即可，每行（以换行符分隔）表示一条消息

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test --producer-property security.protocol=SASL_PLAINTEXT --producer-property sasl.mechanism=PLAIN

六、JAVA密码连接Kafka

1，添加maven依赖

        <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.7.0</version>
        </dependency>

2，连接示例

生产者

Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, url);
props.put(ProducerConfig.ACKS_CONFIG, "1");
props.put(ProducerConfig.RETRIES_CONFIG, 0);
props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
props.put(ProducerConfig.LINGER_MS_CONFIG, 1);
props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
props.put(ProducerConfig.MAX_BLOCK_MS_CONFIG, 10000);
//安全认证SASL/PLAIN
props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SASL_PLAINTEXT");
props.put(SaslConfigs.SASL_MECHANISM, "PLAIN");
props.put(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.plain.PlainLoginModule required username='admin' password='pwd';");
KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);

消费者

Properties properties = new Properties();
properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, url);
properties.put(ConsumerConfig.GROUP_ID_CONFIG, GROUP);
properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
properties.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "540000");
properties.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, "600000");
properties.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "500");
properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
//安全认证SASL/PLAIN
properties.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SASL_PLAINTEXT");
properties.put(SaslConfigs.SASL_MECHANISM, "PLAIN");
properties.put(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.plain.PlainLoginModule required username='admin' password='pwd';");
KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);

七、KafkaEagle 监控

  • 下载地址：http://download.kafka-eagle.org/
  • 下载指定版本：https://github.com/smartloli/kafka-eagle-bin/archive/v2.0.3.tar.gz
  • 参考手册：https://docs.kafka-eagle.org/

1，设置环境变量

此处修改的bin目录下的ke.sh启动脚本,也可以直接添加系统环境变量

export JAVA_HOME=/data1/jdk1.8.0_271
export KE_HOME=/data1/kafka-eagle-web-2.0.3

2，修改conf下配置文件 system-config.properties

修改以下配置项

#多个集群名称,分割
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=127.0.0.1:2181

######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=true
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="pwd";

######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=ture
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=kafka
cluster1.zk.acl.password=pwd

kafka.eagle.driver=org.sqlite.JDBC
#修改此路径且必须存在,不使用mysql数据库
kafka.eagle.url=jdbc:sqlite:/data1/kafka-eagle-web-2.0.3/db/dbke.db
kafka.eagle.username=root
kafka.eagle.password=root

3，启动

 cd /data1/kafka-eagle-web-2.0.3/bin
 ./ke.sh start

访问：http://192.168.25.202:8048/ke/

默认用户密码

admin 123456

登陆成功后修改密码

点击右上角	reset
阿祖，收手吧
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume+kafka+flink+mysql数据统计
04-20
flume+kafka+flink+mysql实现nginx数据统计与分析
zookeeper授权方式设置
最新发布
JohnieLi的博客
08-16 1633
备注：对需要进行白名单设置的路径进行设置，此处设置的路径没有继承关系，即设置了/test的白名单，但是/test/test2依然没有设置为白名单。备注：****此处虽然设置了ramboo1用户的权限，但是zk会默认添加所有存在的用户。备注：此处的密文密码不要随意更改，否则不知道对应的明文是多少，后续就没办法访问对应节点，切记！通过此IP白名单设置之后，即只允许设定过的IP服务器才能进行访问，其他机器无法访问。备注：如果退出了客户端，再进入的时候，需要重新添加用户，才可访问，即授权。可以添加多个用户，如。
zookeeper集群认证功能
hongge586的专栏
03-31 1029
zookeeper集群认证功能 需求背景 当前zookeeper集群支持动态伸缩，基础配置文件会动态同步，只要待加入节点配置信息满足集群基本要求，可以自动或者手动添加到某个集群里。因此存在如下几个问题： 安全性问题，由于基础配置信息（主要是ip和端口）是公共信息，容易获取。可能存在非法节点加入集群获取集群数据。 不同集群可能无法独立隔离，造成不同集群同步混乱。 新旧集群混用，可能存在新旧数据错误同步，造成数据异常。 目前zookeeper在3.5.0及以上版本开始支持集群选举认证功能...
zookeeper权限管理
ggh5201314的博客
08-25 867
一个zookeeper节点中不仅包含了存储的数据，还有 ACL（Access Control List）。节点创建时，可以给它设置一个ACL，来决定谁可以对节点做哪些操作。 ACL 具有以下特点： 1. ZooKeeper的权限控制是基于每个znode节点的，需要对每个节点设置权限 2. 每个znode支持设置多种权限控制方案和多个权限 3. 子节点不会继承父节点的权限，客户端无权访问某节点，...
Zookeeper权限管理
CheerTan is here
06-10 548
查看这篇文章吧：https://www.jianshu.com/p/147ca2533aff
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
社区系统源码：基于 SpringBoot + MyBatis + MySQL + Redis + Kafka
05-08
消息队列：Kafka 2.13-2.7.0 搜索引擎：Elasticsearch 6.4.3 安全：Spring Security 邮件任务：Spring Mail 分布式定时任务：Spring Quartz 日志：SLF4J（日志接口） + Logback（日志实现） 前端： Thymeleaf ...
zk+kafka环境搭建1
08-08
安装依赖的java环境安装包版本：jdk-8u25-linux-x64.tar.gz安装步骤：#tar -zxvf jdk-8u25-linux-x64.tar
storm+kafka
03-15
storm+kafka jar包 ，curator-client-2.8.0、curator-framework-2.8.0、curator-recipes-2.8.0、guava-18.0、kafka_2.9.2-0.8.2.2、metrics-core-2.2.0、scala-library-2.10.4、storm-kafka-0.9.2-incubating、...
zookeeper增加权限登录验证
11-19
针对zookeeper的安全漏洞，增加了对访问ip地址的限制。
zookeeper未鉴权访问漏洞处理
weixin_44704406的博客
12-27 5816
zookeeper未鉴权访问漏洞处理
大数据Hadoop之——Zookeeper鉴权认证（Kerberos认证+账号密码认证）
匠人精神，持之以恒！
06-11 3638
Zookeeper概述与安装请参考我之前的文章：分布式开源协调服务——ZookeeperZookeeper的安装方式有两种，两种方式都会讲，其实大致配置都是一样的，只是少部分配置有一丢丢的区别。kafka的鉴权认证可以参考我之前的文章：大数据Hadoop之——Kerberos实战（Kafka Kerberos认证，用户密码认证和CDH Kerberos认证）Kerberos安装可以参考我之前的文章：Kerberos认证原理与环境部署 3）独立zookeeper配置 1、配置zoo.cfg 2、配置jaas
大数据Hadoop之——Zookeeper鉴权认证 -天天
qq_33023859的博客
07-14 1901
https://blog.csdn.net/qq_35745940/article/details/125156050 文章目录 一、Zookeeper概述与安装 二、Zookeeper Kerberos 鉴权认证 1）Kerberos安装 2）创建用户并生成keytab鉴权文件（前期准备） 3）独立zookeeper配置 1、配置zoo.cfg 2、配置jaas.conf 3、配置java.env 4、将配置copy到其它节点 5、启动服务 6、登录客户端验证 4）kafka内置zookeeper...
zk不适合注册中心原因
weixin_44447809的博客
04-24 532
在 CAP 模型中，zookeeper 是 CP，意味着面对网络分区时，为了保持一致性，他是不可用的。因为 zookeeper 是一个分布式协调系统，他的核心算法是 Zab，所有设计都是为了一致性。1、当注册中心的服务规模超过一定数量的时候，zk不能很好的工作，不能支持很高的tps和TCP长连接2、zk的写请求是不是可扩展的3、zk提供的Service Health Check功能很弱，基于zk的session活性检查和临时节点监听机制上，不能真正反应服务的健康状态。
zookeeper学习笔记(最全）
洛柒
11-30 1622
zookeeper学习笔记(最全） zookeeper解决并发问题——分布式锁
Kafka监控框架：Kafka-manager的配置与使用
FlatTiger的博客
02-28 332
下载kafka-manager 链接：https://pan.baidu.com/s/18oYJfYnp7FCOq8jXnYDyew 提取码：debl 解压，配置conf目录下的application.conf kafka-manager.zkhosts=“kafka-manager-zookeeper:2181” 修改为： kafka-manager.zkhosts=“hadoop01:2181,hadoop02:2181,hadoop03:2181” 其中hadoop01、hadoop02、hadoop
zookeeper断线重连无鉴权
a18827547638的博客
08-01 866
zk断线重连后，鉴权失败
zk 权限控制
zhongzunfa的专栏
07-11 6364
1、 zk权限介绍 1) ZK的节点有5种操作权限： CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限，这5种权限简写为crwda(即：每个单词的首字符缩写) 注：这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作权限。 2) 身份的认证有4种方式： world：默认方式，相当于全世界都能访问 auth：代表...
zookeeper+kafka安装手册
06-07
以下是Zookeeper和Kafka的安装步骤： 1. 下载Zookeeper和Kafka安装文件 2. 解压缩安装文件 ``` tar -zxvf zookeeper-3.4.14.tar.gz tar -zxvf kafka_2.11-2.1.1.tgz ``` 3. 配置Zookeeper 进入Zookeeper的conf...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值