Linux下搭建zookeeper+kafka+kerberos（基于centos7）

最新推荐文章于 2024-08-16 16:27:13 发布
最新推荐文章于 2024-08-16 16:27:13 发布
阅读量5.6k 收藏 17
点赞数 4
分类专栏： Linux 文章标签： kerberos zookeeper kafka linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x1172031988/article/details/82852326
版权

3台机器：
192.168.10.102 安装kafka服务
192.168.10.103 安装zookeeper服务
192.168.10.105 安装kerberos服务
zookeeper是用来提供服务发现之用，搭建kafka集群，注册到zookeeper，为防止消费的异常，搭建kerberos做认证管理，只有通过认证的kafka消费者才可以消费生产者的消息。kerberos在生产者和消费者之间建立共享秘钥，提供身份认证。

kerberos验证在java环境下依赖加解密，需要jce的jar包
下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html （jre8）
下载后将两个jar包解压到%JDK_HOME%/jre/lib/security目录下

1.在192.168.10.105上安装kerberos服务
yum install krb5-server krb5-libs krb5-auth-dialog
2.配置ip和主机域名的映射
修改/etc/hosts文件
vim /etc/hosts
在这里插入图片描述
3.安装完kerberos之后，会有两个配置文件

/etc/krb5.conf   配置realm name
/var/kerberos/krb5kdc/kdc.conf  配置domain-to-realm mappings，主机到域的映射。

配置/var/kerberos/krb5kdc/kdc.conf

[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 XH.COM = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }

XH.COM可随意取，代表一个realm，可配置多个realm，此处不讨论。此处的XH.COM必须和/etc/krb5.conf中配置的保持一致。

配置/etc/krb5.conf

#Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 default_realm = XH.COM
 default_ccache_name = KEYRING:persistent:%{uid}

 #禁止使用udp
 udp_preference_limit = 1

[realms]
  XH.COM = {
    kdc = kdc
    admin_server = kdc
  }

[domain_realm]
  .xh.com = XH.COM
  xh.com = XH.COM

参数说明：
[logging]：表示server端的日志的打印位置
[libdefaults]：每种连接的默认配置，需要注意以下几个关键的小配置
default_realm = XH.COM 默认的realm，必须跟要配置的realm的名称一致。
udp_preference_limit = 1 禁止使用udp
oticket_lifetime表明凭证生效的时限，一般为24小时。
orenew_lifetime表明凭证最长可以被延期的时限，一般为一个礼拜。当凭证过期之后，
对安全认证的服务的后续访问则会失败。
kdc：代表要kdc的位置。格式是 机器:端口
admin_server:代表admin的位置。格式是机器:端口
default_domain：代表默认的域名

4.初始化kerberos并启动

kdb5_util create -s -r XH.COM

其中，[-s]表示生成stash file，并在其中存储master server key（krb5kdc）；还可以用[-r]来指定一个realm name —— 当krb5.conf中定义了多个realm时才是必要的。
创建过程中要求输入database的管理密码，此密码需要牢记。
当kerberos database创建好之后，可以在/var/kerberos/krb5kdc目录下看到

kadm5.acl 
kdc.conf 
principal 
principal.kadm5 
principal.kadm5.lock 
principal.ok

6个文件

启动Kerberos服务
低于centos7版本：

service krb5kdc start
service kadmin start

设置开机自启动

chkconfig krb5kdc on
chkconfig kadmin on

centos7版本及以上：

systemctl start krb5kdc.service
systemctl start kadmin.service

设置开机自启动

systemctl enable krb5kdc.service
systemctl enable kadmin.service

5.添加kerberos用户并生成密钥表文件

kadmin.local -q "addprinc -randkey zookeeper/kdc@XH.COM"
kadmin.local -q "addprinc -randkey kafka/kdc@XH.COM"

或者通过kadmin.local命令进入kadmin服务：
在这里插入图片描述
因为之前添加过zookeeper的用户，所以此处显示zookeeper用户已经存在。
在192.168.10.103上搭建的zookeeper服务，因为kafka自带的zookeeper服务不好用，所以此处单独搭建了一个zookeeper服务。
因为需要在192.168.10.103上搭建zookeeper服务和在192.168.10.102上搭建kafka服务，所以还需要建立用户zookeeper/slave2@XH.COM、 kafka/slave1@XH.COM，如果是单机，只需要建立上面zookeeper/kdc@XH.COM和kafka/kdc@XH.COM两个用户即可。

生成keytab密钥表文件
在这里插入图片描述

7.在192.168.10.105上验证用户是否可用
使用kinit命令：

kinit -kt /etc/security/keytabs/zookeeper.keytab zookeeper/kdc@XH.COM

/etc/security/keytabs为存放keytab文件的路径，这个可以自己选择
在这里插入图片描述
再通过klist命令查看连接是否建立。
Default principal就是建立的用户，Valid starting是认证开始时间，Expires是到期时间。

8.在192.168.10.102和192.168.10.103上安装kerberos客户端服务

yum -y install krb5-workstation krb5-libs

配置/etc/krb5.conf

#Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 default_realm = XH.COM
 default_ccache_name = KEYRING:persistent:%{uid}

 #禁止使用udp
 udp_preference_limit = 1

[realms]
  XH.COM = {
    kdc = kdc
  }

[domain_realm]
  .xh.com = XH.COM
  xh.com = XH.COM

9.将keytab文件拷贝到192.168.10.103上
因为zookeeper服务安装在192.168.10.103上，需要将keytab文件拷贝过去才可以使用

scp /etc/security/keytabs/zookeeper.keytab root@192.168.10.103:/etc/security/keytabs/zookeeper.keytab

在这里插入图片描述
在192.168.10.103上验证keytab文件可用
在这里插入图片描述

10.在192.168.10.103上安装zookeeper
从官网下载zookeeper压缩包

wget http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

解压

tar -zxvf zookeeper-3.4.12.tar.gz -C /usr/local/

切换目录

cd /usr/local/zookeeper-3.4.12

11.配置zookeeper的kerberos验证
切换到配置文件目录下cd conf
添加zoo.cfg配置文件，cp zoo_sample.cfg zoo.cfg
打开zoo.cfg配置文件，添加配置

#kerberos
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000

添加配置文件jaas.conf

Server {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/etc/security/keytabs/zookeeper.keytab"
  storeKey=true
  useTicketCache=false
  principal="zookeeper/slave2@XH.COM";
};

添加配置文件java.env

export JVMFLAGS="-Djava.security.auth.login.config=/usr/local/zookeeper/conf/jaas.conf"

12.启动zookeeper服务
切换到bin目录下

cd ../bin
./zkServer.sh start

通过./zkServer status查看服务启动状态
(PS：可以将此目录添加到环境变量，不需要每次都在此目录下启动）

13.将kafka用户的keytab文件拷贝到192.168.10.102

scp /etc/security/keytabs/kafka.keytab root@192.168.10.102:/etc/security/keytabs/kafka.keytab

14.验证kafka用户可用
在这里插入图片描述

15.安装kafka服务
下载kafka

wget http://mirrors.shu.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz

解压压缩包

tar -zxvf kafka_2.12-2.0.0.tgz -C /usr/local

切换目录

cd /usr/local/kafka_2.12-2.0.0

16.配置kafka的kerberos认证
切换目录 cd config
创建jaas.conf配置文件，添加配置如下：

KafkaServer {
       com.sun.security.auth.module.Krb5LoginModule required
       useKeyTab=true
       storeKey=true
       useTicketCache=false
       serviceName="kafka"
       keyTab="/etc/security/keytabs/kafka.keytab"
       principal="kafka/slave1@XH.COM";
};
KafkaClient {
     com.sun.security.auth.module.Krb5LoginModule required
     useKeyTab=true
     keyTab="/etc/security/keytabs/kafka.keytab"
     storeKey=true
     useTicketCache=false
     serviceName="kafka"
     principal="kafka/slave1@XH.COM";
};
Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/etc/security/keytabs/zookeeper.keytab"
  storeKey=true
  useTicketCache=false
  principal="zookeeper/slave2@XH.COM";
};

其中Client是用来向zookeeper注册。

修改server.properties配置
zookeeper.connect=slave2:2181 其中slave2是192.168.10.103的主机名

添加配置

#kerberos
listeners=SASL_PLAINTEXT://slave1:9092
advertised.listeners=SASL_PLAINTEXT://slave1:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
principal.to.local.class=kafka.security.auth.KerberosPrincipalToLocal
isasl.enabled.mechanisms=GSSAPI

在bin/kafka-run-class.sh脚本中添加kafka jvm参数

# JVM performance options
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
  KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+DisableExplicitGC -Djava.awt.headless=true -Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/usr/local/kafka_2.12-2.0.0/config/jaas.conf -Dzookeeper.sasl.client.username=zookeeper"
fi

修改生产者配置文件producer.properties，添加以下配置

#kerberos
security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

修改消费者配置文件consumer.properties

修改
zookeeper.connect=slave2:2181
添加配置
#kerberos
security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

17.启动kafka服务

nohup bin/kafka-server-start.sh config/server.properties &

查看nohup日志 tail -f nohup.out，查看服务启动是否成功

18.生产消费
生产消息：

bin/kafka-console-producer.sh --broker-list slave1:9092 --topic test --producer.config config/producer.properties

在这里插入图片描述

消费消息：

bin/kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic test --from-beginning --consumer.config config/consumer.properties

在这里插入图片描述

（PS：我的102服务器磁盘空间满了，所以在103上演示的，结果是一样的。）

perfiffer
关注
专栏目录
Kafka安全认证-Kerberos&SCRAM
麦田里的守望者-蒋中洲【相信相信的力量】
02-26 834
配置SASL/PLAIN验证，实现了对Kafka的权限控制。但SASL/PLAIN验证有一个问题：只能在JAAS文件KafkaServer中配置用户，一但Kafka启动，无法动态新增用户。SASL/SCRAM验证可以动态新增用户并分配权限安装步骤.
kerberos服务搭建，zookeeper、kafka使用kerberos
lyflyyvip的博客
01-03 2905
1. centos安装kerberos 下载安装kerberos yum install krb5-libs krb5-server krb5-workstation krb5-libs 安装成功后etc下应该有krb5.conf文件，编辑该文件vi /etc/krb5.conf # Configuration snippets may be placed in this directo...
单机 kafka 配置 kerberos，设置 ACL 权限
10-10
kafka 配置 kerberos，设置 ACL权限， java 客户端连接。
kafka开启kerberos
最新发布
蘑菇丁的专栏
08-16 1119
配置zookeeper的kerberos验证，切换到配置文件目录下cd conf，添加zoo.cfg配置文件，cp zoo_sample.cfg zoo.cfg打开zoo.cfg配置文件，添加配置，修改Zookeeper的配置文件cat zoo.cfg 启用SASL认证，并指定认证提供者。在Zookeeper的启动脚本中添加JVM参数，指定JAAS配置文件的路径。在Kafka的启动脚本中添加JVM参数，指定JAAS配置文件的路径。注意修改principal和keyTab路径以匹配实际环境。
linux下kerberos教程
weixin_34167819的博客
03-09 250
一、kerberos介绍         Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”系统设计上采用客户端/服务器结构与DES加密技术，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。支持SSO 二、kerberos三方安全认证协议 　　1、Kerber...
Kafka linux(centos7)安装配置kerberos并在另一台机器上使用Java服务接收消息
heasy's blog
07-21 805
项目需要将kafka配上kerberos，从来没接触过，靠着一堆教程勉强跑通 先说下网络环境，kafka服务器的IP为192.168.100.83 下文记做Linux跑Java服务的IP为192.168.62.116下文记做mac 首先要将两个机器的hosts互相添加主机名 在不添加主机名的情况下 没有成功 这步还是很重要的 linux的： hadoop03是跟着教程起的名字 无特殊含义 指向本机 并添加mac的主机名 [root@localhost kafka_2.12-2.4.0]# c..
kafka+zookeeper搭建服务
程序员路同学
01-06 193
docker环境部署kafka docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 启动zookeeper（先启动zookeeper） docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 启动kafka容器 docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID..
zookeeper系列之-linux系统服务安装
weinichendian的博客
12-24 356
1.zookeeper下载 下载博主自己用的比较多的zookeeper-3.4.8.tar.gz版本 小生在此，请点击下载，come on！ 2.解压下载安装包。 tar -zxvf zookeeper-3.4.8.tar.gz 3.跳转zookeeper-3.4.8目录，新建data文件夹，用作数据存储路径。 [root@instance-n4r06itt zookeeper-3.4.8]# ...
Kafka学习笔记——centos7下kafka安装配置与验证
路漫漫，水迢迢
06-17 9040
简介我们先看看官方给出的kafka分布式架构图 多个 broker 协同合作，producer 和 consumer 部署在各个业务逡辑中被频繁的调用，三者通过 zookeeper管理协调请求和转収。返样一个高怅能的分布式消息収布不订阅系统就完成了。 我们以一个broker为例介绍下整个消息系统的启动过程 整个系统运行的顺序： 1.启劢 zookeeper 的 server 2.
Docker安装部署MySQL+Canal+Kafka+Camus+HIVE数据实时同步
是小南啊的博客
05-06 1778
因为公司业务需求要将mysql的数据实时同步到hive中，在网上找到一套可用的方案，即MySQL+Canal+Kafka+Camus+HIVE的数据流通方式，因为是首次搭建，所以暂时使用伪分布式的搭建方案。 一、安装docker 安装docker的教程网上一搜一大把,请参考： centos下docker安装教程 二、docker安装MySQL 安装教程网上也有很多，请参考: docker安装MySQL 1. 开启 Binlog 写入功能 安装完成后，要配置MySQL，开启binlog的写入功能,配置 b
CentOS 7.6环境安装kafka_2.13-3.0.0[单机版]
一切有为法，如梦亦如幻，如露亦如电，应作如是观。
03-05 2263
本节内容主要总结一下如何在CentOS 7.6上安装kafka 2.13-3.0.0 注意：此单机版使用的是kafka自带的zookeeper 1.组件版本 组件 版本 CentOS 7.6 JDK 1.8.0_221 kafka 2.13-3.0.0 2.环境设置 Init-env.sh脚本： #!/bin/bash echo "----------------关闭selinux-----------------" ...
LINUX下的kerberos的安装配置
05-05
kerberos是由mit开发的提供网络认证的系统。使用kerberos自己提供的ktelnetd、krlogind、krshd来替换传统的telnetd、rlogind、rshd服务。
kerberos客户端的安装(linux和windows版)
zhaolq1024的博客
11-01 8056
不生产博客，只是别人博客的裁缝 一入kerberos深似海，从此节操是个玩意儿 目录 windows版(win10) linux版（suse） kerberos基本操作 cdh启用kerberos后，如果我们需要本地连impala或者hive(本地代码测试或者jdbc工具)，都需要在本地装kerberos 如果别的服务器需要通过jdbc访问cdh的服务，也需要安装kerbero...
zookeeper + kafka集群搭建
weixin_55609824的博客
07-28 192
目录一、使用消息队列(MQ)的原因二、使用消息队列的好处三、消息队列的两种模式 一、使用消息队列(MQ)的原因 主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发too many connection错误，引发雪崩效应。 我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。 当前比较常见的 MQ中间件有ActiveMQ、RabbitMQ、Rock
kerberos客户端ssh
奔跑的羚羊
01-10 394
#删除票据 kdestroy #查看票据 klist 1.安装Kerberos（同服务端） 2.客户端机器修改host hostname 103.devapp.com 3,修改客户端机器的hosts文件 vim /etc/hosts [code="xml"] #要登陆的客户机 192.168.0.104 104.devapp.com #...
kafka集群安全化之启用kerberos与acl
CarbonDioxide12138的博客
03-25 4936
一、背景在我们部署完kafka之后，虽然我们已经可以“肆意”的用kafka了，但是在一个大公司的实际生产环境中，kafka集群往往十分庞大，每个使用者都应该只关心自己所负责的Topic，并且对其他人所使用的Topic没有权限。这样一来可以将资源隔离开来，二来可以防止误操作。在权限控制之前，我们必须要启用的就是用户认证，没有用户，自然没有权限一说了。二、kafka启用kerberos认证2.1 在K...
Kafka集成Kerberos
m0_47139984的博客
03-06 1190
Kafka集成Kerberos
Linux学习打卡——用户权限
apple_73959427的博客
11-29 179
用户权限 要使用系统，必然需要用户来确认身份 在Linux中，不同用户对不同的文件和目录有着不同的权限，这些权限包括： 序号 权限 英文 缩写 数字代号 1 读 read r 4 2 写 write w 2 3 执行 excute x 1 为了方便管理，提出了组的概念，即将不同的用户放在一个组中获得相同的权限。这样只需要对组设置权限，再将用户添加到组中，方便管理权限 ls-l扩展： 之前
zookeeper+kafka安装手册
06-07
以下是Zookeeper和Kafka的安装步骤： 1. 下载Zookeeper和Kafka安装文件 2. 解压缩安装文件 ``` tar -zxvf zookeeper-3.4.14.tar.gz tar -zxvf kafka_2.11-2.1.1.tgz ``` 3. 配置Zookeeper 进入Zookeeper的conf目录，复制一份zoo_sample.cfg文件并重命名为zoo.cfg。 ``` cd zookeeper-3.4.14/conf cp zoo_sample.cfg zoo.cfg ``` 修改zoo.cfg文件，指定dataDir和clientPort。 ``` dataDir=/var/lib/zookeeper clientPort=2181 ``` 4. 启动Zookeeper ``` ./zkServer.sh start ``` 5. 配置Kafka 进入Kafka的config目录，修改server.properties文件。 ``` cd kafka_2.11-2.1.1/config vi server.properties ``` 修改以下参数： ``` broker.id=0 zookeeper.connect=localhost:2181 ``` 6. 启动Kafka ``` ./bin/kafka-server-start.sh config/server.properties ``` 7. 创建Topic ``` ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytest ``` 8. 发送消息 ``` ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytest ``` 9. 消费消息 打开一个新的终端，输入以下命令： ``` ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest --from-beginning ``` 以上是Zookeeper和Kafka的安装步骤，安装过程中可能会有一些步骤需要根据实际情况进行调整。
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值