Kafka 集群配置SASL+ACL

最新推荐文章于 2024-10-16 17:27:38 发布
最新推荐文章于 2024-10-16 17:27:38 发布
阅读量5.3k 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shykevin/article/details/90103285
版权

Kafka 集群配置SASL+ACL

一、简介

在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafka集群，就可以操作集群上的所有主题了。由于没有权限控制，集群核心的业务主题时存在风险的。

本文主要使用SASL+ACL

二、技术关键点

配置文件

修改broker启动所需的server.properties文件，你至少需要配置(或修改)以下这些参数：

listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://$advertised_hostname:9092
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
#SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
allow.everyone.if.no.acl.found=true
super.users=User:admin

 

其他参数讲解，请参考链接：

https://www.cnblogs.com/xiao987334176/p/10065844.html

 

这里主要讲解几个重点参数

 

默认情况下，如果资源R没有关联acl，除了超级用户，没有用户允许访问。如果你想改变这种方式你可以做如下配置

allow.everyone.if.no.acl.found=true

什么意思呢？上面的配置已经启动了acl，除了超级用户之外，其他用户无法访问。那么问题就来了，在kafka集群中，其它节点需要同步数据，需要相互访问。

它默认会使用ANONYMOUS的用户名连接集群。在这种情况下，启动kafka集群，必然失败！所以这个参数一定要配置才行！

 

listeners=SASL_PLAINTEXT://:9092

这个参数，表示kafka监听的地址。此参数必须要配置，默认是注释掉的。默认会使用listeners=PLAINTEXT://:9092，但是我现在开启了SASL，必须使用SASL协议连接才行。

//:9092 这里虽然没有写IP地址，根据官方解释，它会监听所有IP。注意：这里只能是IP地址，不能是域名。否则启动时，会提示无法绑定IP。

 

advertised.listeners 这个参数，表示外部的连接地址。这里可以写域名，也可以写IP地址。建议使用域名，为什么呢？因为IP可能会变动，但是主机名是不会变动的。

所以在java代码里面写死，就可以了！注意：必须是SASL协议才行！

 

super.users=User:admin  表示启动超级用户admin，注意：此用户名不允许更改，否则使用生产模式时，会有异常！

 

启动脚本

bin/kafka-server-start.sh 这个是kafka的启动脚本，要使用ACL，需要增加一个参数才行。

有2种方法修改，这里分别介绍一下：

1. 增加环境变量KAFKA_OPTS(推荐)

先来看一下，默认的bin/kafka-server-start.sh的最后一行

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"

只需要在最后一行的上面一行，添加一个环境变量即可

export KAFKA_OPTS="-Djava.security.auth.login.config=/kafka_2.12-2.1.0/config/kafka_cluster_jaas.conf"
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"

 

2. 增加参数-Djava.security.auth.login.config

直接将最后一行修改为

exec $base_dir/kafka-run-class.sh -Djava.security.auth.login.config=/kafka_2.12-2.1.0/config/kafka_cluster_jaas.conf $EXTRA_ARGS kafka.Kafka "$@"

 

JAAS文件

kafka_cluster_jaas.conf

KafkaServer {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="admin"
password="123456"
user_admin="123456"
user_reader="123456"
user_writer="123456";
};

 

这个文件，是专门用来做认证的。用户名和密码的格式如下：

user_用户名="密码"

 

注意：对于超级用户，这几行是固定的

username="admin"
password="123456"
user_admin="admin"

这里指定的是admin用户密码为123456，密码可自行更改。

下面的，才是普通用户。最后一个用户，要有一个分号才行！

 

三、正式部署

环境介绍

本文采用的环境，参考以下链接

https://www.cnblogs.com/xiao987334176/p/10088497.html#autoid-3-0-0

 

使用了3台zookeeper和5台kafka。都是在一台服务器上面运行的！

其中zookeeper的镜像，不需要变动，直接启动即可。

但是kafka的镜像，需要重新构建，请看下面的内容。

 

创建镜像

创建空目录

mkdir /opt/kafka_cluster_acl

 

dockerfile

FROM ubuntu:16.04
# 修改更新源为阿里云
ADD sources.list /etc/apt/sources.list
ADD kafka_2.12-2.1.0.tgz /
ADD kafka_cluster_jaas.conf /
# 安装jdk
RUN apt-get update && apt-get install -y openjdk-8-jdk --allow-unauthenticated && apt-get clean all

EXPOSE 9092
# 添加启动脚本
ADD run.sh .
RUN chmod 755 run.sh
ENTRYPOINT [ "/run.sh"]

 

kafka_cluster_jaas.conf

KafkaServer {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="admin"
password="123456"
user_admin="123456"
user_reader="123456"
user_writer="123456";
};

 

run.sh

#!/bin/bash

if [ -z $broker_id ];then
    echo "broker_id变量不能为空"
    exit 1
fi

if [ -z $zookeeper ];then
    echo "zookeeper变量不能为空"
    exit 2
fi

if [ -z $advertised_hostname ];then
    echo "advertised_hostname变量不能为空"
    exit 3
fi

# 开启kafka acl验证
echo "

listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://$advertised_hostname:9092
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
#SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
allow.everyone.if.no.acl.found=true
super.users=User:admin

" >> /kafka_2.12-2.1.0/config/server.properties

cd /kafka_2.12-2.1.0
# 设置唯一id
sed -i "21s/0/$broker_id/" /kafka_2.12-2.1.0/config/server.properties
# 设置zookeeper连接地址
sed -i "123s/localhost/$zookeeper/" /kafka_2.12-2.1.0/config/server.properties

# 配置启动脚本,最后一行之前添加环境变量
sed -i -e "44"i'\export KAFKA_OPTS="-Djava.security.auth.login.config=/kafka_2.12-2.1.0/config/kafka_cluster_jaas.conf"' bin/kafka-server-start.sh

# 添加配置文件
mv /kafka_cluster_jaas.conf /kafka_2.12-2.1.0/config/

# 临时添加5条hosts
echo "172.168.0.5 kafka-1.default.svc.cluster.local" >> /etc/hosts
echo "172.168.0.6 kafka-2.default.svc.cluster.local" >> /etc/hosts
echo "172.168.0.7 kafka-3.default.svc.cluster.local" >> /etc/hosts
echo "172.168.0.8 kafka-4.default.svc.cluster.local" >> /etc/hosts
echo "172.168.0.9 kafka-5.default.svc.cluster.local" >> /etc/hosts

# 启动kafka
bin/kafka-server-start.sh config/server.properties
View Code

 

注意：由于没有DNS，这里临时添加了5条hosts记录。5台kafka之间，必须要相互连通，否则会报错

WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 1 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

 

sources.list

deb http://mirrors.aliyun.com/ubuntu/ xenial main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main

deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main

deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates universe

deb http://mirrors.aliyun.com/ubuntu/ xenial-security main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main
deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security universe

 

此时，目录结构如下：

./
├── dockerfile
├── kafka_2.12-2.1.0.tgz
├── kafka_cluster_jaas.conf
├── run.sh
└── sources.list

 

生成镜像

docker build -t kafka_cluster_acl /opt/kafka_cluster_acl

 

启动镜像

请确保已经启动了3台zookeeper的镜像！

第一个kafka节点

docker run -it -p 9092:9092 -e broker_id=1 -e zookeeper=172.168.0.2:2181,172.168.0.3:2181,172.168.0.4:2181 -e advertised_hostname=kafka-1.default.svc.cluster.local  --network br1 --ip=172.168.0.5 kafka_cluster_acl

 

第二个kafka节点

docker run -it -p 9093:9092 -e broker_id=2 -e zookeeper=172.168.0.2:2181,172.168.0.3:2181,172.168.0.4:2181 -e advertised_hostname=kafka-2.default.svc.cluster.local --network br1 --ip=172.168.0.6 kafka_cluster_acl

 

第三个kafka节点

docker run -it -p 9094:9092 -e broker_id=3 -e zookeeper=172.168.0.2:2181,172.168.0.3:2181,172.168.0.4:2181 -e advertised_hostname=kafka-3.default.svc.cluster.local --network br1 --ip=172.168.0.7 kafka_cluster_acl

 

第四个kafka节点

docker run -it -p 9095:9092 -e broker_id=4 -e zookeeper=172.168.0.2:2181,172.168.0.3:2181,172.168.0.4:2181 -e advertised_hostname=kafka-4.default.svc.cluster.local --network br1 --ip=172.168.0.8 kafka_cluster_acl

 

第五个kafka节点

docker run -it -p 9096:9092 -e broker_id=5 -e zookeeper=172.168.0.2:2181,172.168.0.3:2181,172.168.0.4:2181 -e advertised_hostname=kafka-5.default.svc.cluster.local --network br1 --ip=172.168.0.9 kafka_cluster_acl

 

客户端测试

shell脚本客户端

先来查看docker进程

root@jqb-node128:~# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED              STATUS              PORTS                    NAMES
a5ff3c8f5c2a        kafka_cluster_acl   "/run.sh"           About a minute ago   Up About a minute   0.0.0.0:9096->9092/tcp   gifted_jones
36a4d94054b5        kafka_cluster_acl   "/run.sh"           3 minutes ago        Up 3 minutes        0.0.0.0:9095->9092/tcp   modest_khorana
f614d734ac8b        kafka_cluster_acl   "/run.sh"           3 minutes ago        Up 3 minutes        0.0.0.0:9094->9092/tcp   tender_kare
29ef9a2edd08        kafka_cluster_acl   "/run.sh"           3 minutes ago        Up 3 minutes        0.0.0.0:9093->9092/tcp   reverent_jepsen
d9cd45c62e86        kafka_cluster_acl   "/run.sh"           3 minutes ago        Up 3 minutes        0.0.0.0:9092->9092/tcp   silly_mcclintock
69dba560bc09        zookeeper_cluster   "/run.sh"           4 minutes ago        Up 4 minutes        0.0.0.0:2183->2181/tcp   confident_fermat
d73a01e76949        zookeeper_cluster   "/run.sh"           4 minutes ago        Up 4 minutes        0.0.0.0:2182->2181/tcp   admiring_snyder
7ccab68252e7        zookeeper_cluster   "/run.sh"           4 minutes ago        Up 4 minutes        0.0.0.0:2181->2181/tcp   gifted_wilson

 

确保已经运行了5个kafka和3个zk

 

随便进入一个kafka容器

root@jqb-node128:~# docker exec -it a5ff3c8f5c2a /bin/bash
root@a5ff3c8f5c2a:/# cd /kafka_2.12-2.1.0/

 

新增一个配置文件 kafka_client_jaas.conf 

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# apt-get install -y vim
root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# vi config/kafka_client_jaas.conf

 

内容如下：

KafkaClient {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="writer"
password="123456";
};

 

同理我们也要将配置文件内容传递给JVM, 因此需要修改。

生产者
root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# vi bin/kafka-console-producer.sh

最后一行的上面，添加 KAFKA_OPTS 变量

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx512M"
fi
export KAFKA_OPTS="-Djava.security.auth.login.config=/kafka_2.12-2.1.0/config/kafka_client_jaas.conf"
exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"

 

修改生产者配置文件，最后一行追加2行内容

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

 

使用echo 追加

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# echo 'security.protocol=SASL_PLAINTEXT' >> config/producer.properties
root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# echo 'sasl.mechanism=PLAIN' >> config/producer.properties

 

消费者

修改生产者配置文件，使用echo追加

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# echo 'security.protocol=SASL_PLAINTEXT' >> config/consumer.properties
root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# echo 'sasl.mechanism=PLAIN' >> config/consumer.properties

 

编辑测试脚本

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# vi bin/kafka-console-consumer.sh

最后一行的上面，添加 KAFKA_OPTS 变量

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx512M"
fi
export KAFKA_OPTS="-Djava.security.auth.login.config=/kafka_2.12-2.1.0/config/kafka_client_jaas.conf"
exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleConsumer "$@"

 

测试生产者

目前还没有topic，先来创建一个topic

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# bin/kafka-topics.sh --create --zookeeper 172.168.0.2:2181,172.168.0.3:2181,172.168.0.4:2181 --topic test --partitions 1 --replication-factor 1

Created topic "test".
root@a5ff3c8f5c2a:/kafka_2.12-2.1.0#

 

进入生产者模式，指定kafka的服务器为第一个kafka。当然，只要是5个kafka中的任意一个即可！

输入消息 fdsa，回车

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# bin/kafka-console-producer.sh --broker-list kafka-1.default.svc.cluster.local:9092 --topic test --producer.config config/producer.properties
>fdsa
[2018-12-17 08:45:15,455] ERROR Error when sending message to topic test with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.IllegalSaslStateException: Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []
[2018-12-17 08:45:15,457] ERROR [Producer clientId=console-producer] Connection to node -1 (d9cd45c62e86.br1/172.168.0.5:9092) failed authentication due to: Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are [] (org.apache.kafka.clients.NetworkClient)

 

会出现报错，则说明配置的security 已生效, 要想普通用户能读写消息，需要配置ACL

 

配置ACL

kafka的ACL规则，是存储在zookeeper中的，只需要连接zookeeper即可！

topic权限

允许writer用户有所有权限，访问所有topic

--operation All 表示所有权限，

--topic=* 表示所有topic

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=172.168.0.2:2181,172.168.0.3:2181,172.168.0.4:2181 --add --allow-principal User:writer --operation All --topic=*
Adding ACLs for resource `Topic:LITERAL:*`: 
     User:writer has Allow permission for operations: All from hosts: * 

Current ACLs for resource `Topic:LITERAL:*`: 
     User:writer has Allow permission for operations: All from hosts: *

 

组权限

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=172.168.0.2:2181,172.168.0.3:2181,172.168.0.4:2181 --add --allow-principal User:writer --operation All -group=*
Adding ACLs for resource `Group:LITERAL:*`: 
     User:writer has Allow permission for operations: All from hosts: * 

Current ACLs for resource `Group:LITERAL:*`: 
     User:writer has Allow permission for operations: All from hosts: *

 

再次测试

root@e0bb740ac0ce:/kafka_2.12-2.1.0# bin/kafka-console-producer.sh --broker-list kafka-1.default.svc.cluster.local:9092 --topic test --producer.config config/producer.properties
>123>

 

注意：在config/server.properties 文件中，设置了

advertised.listeners=SASL_PLAINTEXT://kafka-1.default.svc.cluster.local:9092

所以连接地址，必须是指定域名才可以！

 

再开一个窗口，连接同样的容器

root@jqb-node128:~# docker exec -it a5ff3c8f5c2a /bin/bash
root@a5ff3c8f5c2a:/# cd /kafka_2.12-2.1.0/

 

启动消费者模式

root@a5ff3c8f5c2a:/kafka_2.12-2.1.0# bin/kafka-console-consumer.sh --bootstrap-server kafka-1.default.svc.cluster.local:9092 --topic test --from-beginning  --consumer.config config/consumer.properties
123

 

收到123表示成功了！

 

python客户端测试

由于真实主机无法直接连接到网桥的地址172.168.0.5，那么因此代码需要在

创建空目录

mkdir /opt/py_test

 

放2个文件

sources.list

deb http://mirrors.aliyun.com/ubuntu/ xenial main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main

deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main

deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates universe

deb http://mirrors.aliyun.com/ubuntu/ xenial-security main
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main
deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security universe
View Code

 

produer_consumer_acl_test.py

#!/usr/bin/env python3
# coding: utf-8
# 注意：需要手动创建topic才行执行此脚本

import sys
import io

def setup_io():  # 设置默认屏幕输出为utf-8编码
    sys.stdout = sys.__stdout__ = io.TextIOWrapper(sys.stdout.detach(), encoding='utf-8', line_buffering=True)
    sys.stderr = sys.__stderr__ = io.TextIOWrapper(sys.stderr.detach(), encoding='utf-8', line_buffering=True)
setup_io()

import time
from kafka import KafkaProducer
from kafka import KafkaConsumer


class KafkaClient(object):  # kafka客户端程序
    def __init__(self, kafka_server, port, topic,content,username,password):
        self.kafka_server = kafka_server  # kafka服务器ip地址
        self.port = port  # kafka端口
        self.topic = topic  # topic名
        self.content = content  # 发送内容
        self.username = username  # 用户名
        self.password = password  # 密码

    def producer(self):
        """
        生产者模式
        :return: object
        """

        # 连接kafka服务器,比如['192.138.150.193:9092']
        producer = KafkaProducer(bootstrap_servers=['%s:%s' % (self.kafka_server, self.port)],
                                 security_protocol="SASL_PLAINTEXT",  # 指定SASL安全协议
                                 sasl_mechanism='PLAIN',  # 配置SASL机制
                                 sasl_plain_username=self.username,  # 认证用户名
                                 sasl_plain_password=self.password,  # 密码
                                 )

        producer.send(self.topic, self.content)  # 发送消息,必须是二进制
        producer.flush()  # flush确保所有meg都传送给broker
        producer.close()
        return producer

    def consumer(self):
        """
        消费者模式
        :return: object
        """

        # 连接kafka,指定组为test_group
        consumer = KafkaConsumer(topic, group_id='test_group', bootstrap_servers=['%s:%s' % (kafka_server, port)],
                                 sasl_mechanism="PLAIN",
                                 security_protocol='SASL_PLAINTEXT',
                                 sasl_plain_username=self.username,
                                 sasl_plain_password=self.password,
                                 )

        return consumer
        # for msg in consumer:
        #     recv = "%s:%d:%d: key=%s value=%s" % (msg.topic, msg.partition, msg.offset, msg.key, msg.value)
        #     print(recv)

    def main(self):
        startime = time.time()  # 开始时间

        client = KafkaClient(self.kafka_server, self.port, self.topic, self.content,self.username,self.password)  # 实例化客户端
        client.producer()  # 执行生产者
        print('执行生产者')
        consumer = client.consumer()  # 执行消费者
        print('执行消费者')
        print('等待结果....')
        flag = False
        for msg in consumer:
            # recv = "%s:%d:%d: key=%s value=%s" % (msg.topic, msg.partition, msg.offset, msg.key, msg.value)
            # 判断生产的消息和消费的消息是否一致
            print(msg.value)
            # print(self.content)
            if msg.value == self.content:
                flag = True
                break

        consumer.close()  # 关闭消费者对象
        endtime = time.time()  # 结束时间

        if flag:
            # %.2f %(xx) 表示保留小数点2位
            return "kafka验证消息成功,花费时间", '%.2f 秒' % (endtime - startime)
        else:
            return "kafka验证消息失败,花费时间", '%.2f 秒' % (endtime - startime)


if __name__ == '__main__':
    kafka_server = "kafka-1.default.svc.cluster.local"
    port = "9092"
    topic = "test"
    content = "hello honey".encode('utf-8')

    username = "writer"
    password = "123456"

    client = KafkaClient(kafka_server,port,topic,content,username,password)  # 实例化客户端
    print(client.main())
View Code

 

此时目录结构如下：

./
├── produer_consumer_acl_test.py
└── sources.list

 

进入容器，更新ubuntu更新源

root@jqb-node128:/opt/py_test# docker run -it -v /opt/py_test:/mnt --network br1 --ip=172.168.0.10 ubuntu:16.04
root@064f2f97aad2:/# cp /mnt/sources.list /etc/apt/ 
root@064f2f97aad2:/# apt-get update

 

安装python3-pip

root@064f2f97aad2:/# apt-get install -y python3-pip

 

安装kafka模块

root@064f2f97aad2:/# pip3 install kafka

 

添加hosts记录

echo "172.168.0.5 kafka-1.default.svc.cluster.local" >> /etc/hosts
echo "172.168.0.6 kafka-2.default.svc.cluster.local" >> /etc/hosts
echo "172.168.0.7 kafka-3.default.svc.cluster.local" >> /etc/hosts
echo "172.168.0.8 kafka-4.default.svc.cluster.local" >> /etc/hosts
echo "172.168.0.9 kafka-5.default.svc.cluster.local" >> /etc/hosts

 

执行Python文件

root@064f2f97aad2:/# python3 /mnt/produer_consumer_acl_v1_test.py 
执行生产者
执行消费者
等待结果....
b'hello honey'
('kafka验证消息成功,花费时间', '28.59 秒')

 

注意：第一次执行时，会非常慢。等待30秒，如果没有输出hello honey。终止掉，再次执行。

反复5次。就可以了！

 

之后再次执行几次，就会很快了！

root@064f2f97aad2:/# python3 /mnt/produer_consumer_acl_v1_test.py 
执行生产者
执行消费者
等待结果....
b'hello honey'
('kafka验证消息成功,花费时间', '5.37 秒')
root@064f2f97aad2:/# python3 /mnt/produer_consumer_acl_v1_test.py 
执行生产者
执行消费者
等待结果....
b'hello honey'
('kafka验证消息成功,花费时间', '0.43 秒')

 

为啥，前面几次会很慢。之后就很快了，什么原因，我也不知道！

总之，只要经历过慢的阶段，之后就很快了！

 

本文参考链接：

http://blog.51cto.com/xiaoyouyou/2061143

 

posted @ 2018-12-12 18:45 肖祥 阅读( ...) 评论( ...) 编辑 收藏
shykevin
关注
【kafka】Kafka 集群配置SASL+ACL
九师兄
01-04 1691
1.概述 转载：https://www.cnblogs.com/xiao987334176/p/10110389.html 想根据这个做个试验，但是现在不行试试。以后用的时候试试 一、简介 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafka集群，就可以操作集群上的所有主
Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制
qq_34594142的博客
09-07 859
kafka系列文章 第一章 linux单机安装kafka 第二章 kafka——集群安裝部署(自带zookeeper) 第三章 Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制 Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制** 使用SASL / SCRAM进行身份验证 请先在不配置任何身份验证的情况下启动Kafka 1. 创建SCRAM Credentials Kafka中的SCRAM实现使用Zookeeper作为凭证(credential)存储。 可以使用kafka
使用sasl的kafka集群的搭建使用
03-15
搭建基于sasl的安全认证的kafka集群，并配置acl，使用户能分权分域接受发送消息
kafka集群搭建、SASL配置
qq_34324703的博客
08-25 2142
9 在/tmp/zookeeper/下 新建 myid文件，内容填写节点数字 0 其他节点分别填写 1 和2。10 在kafka/conf/下新增 kafka_server_jaas.conf。8 新建/tmp/kafka-logs目录 和 /tmp/zookeeper目录。11 配置 consumer.properties。12 配置 producer.properties。1 安装kafka需要安装JDK。7 配置zookeeper。18 kafka命令汇总。17 修改bin下命令。
kafka自定义配置信息踩坑
最新发布
an_gentle_killer的博客
10-16 404
org.apache.kafka.common.config.ConfigException: Invalid value 0 for configuration acks: Expected value to be a string, but it was a java.lang.Integer
服务器搭建系列之17：k8s安装kafka集群，2022最新版本
cavellpotter的博客
02-14 1033
准备工作： 下载kafka安装包，地址：kafka官网 将下方内容保存为文件 vim server.properties # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding c.
五万字图文和代码详解kafka的安装与开启ACL权限控制，自定义SASL、ACL存储形式，实际项目使用案例剖析，kafka常用cmd命令使用总结及示例
代码讲故事
10-20 348
五万字图文和代码详解kafka的安装与开启ACL权限控制，自定义SASL、ACL存储形式，实际项目使用案例剖析，kafka常用cmd命令使用总结及示例。
Kafka配置SASL/PLAIN ACL
z185665096的专栏
05-12 3080
版本说明 操作系统版本：CentOS Linux release 7.4.1708 (Core) Kafak版本：kafka_2.12-2.0.1.tgz Zookeeper：Kafka内置（3.4.13）echo stat|nc localhost 2181 建议小伙伴们先采用与本文一致的Kafka版本先行测试配置，然后再根据自己的情况进行调整，本人因为版本问题遇到的坑太多了，o(╥﹏╥)o！！！ Zookeeper配置 首先进如kafka根目录 说明：本文使用的Zookeeper为Kafka内置版本
kafka集群开启sasl认证
cuigelasi的博客
03-25 2579
kafka集群开启sasl认证 sasl认证 sasl 是扩展C/S模式验证能力的一种认证机制。它可以规范客户端和服务端传输应答和传输内容编码，简而言之sasl决定了认证的规则，即客户端如何存储身份证书、客户端与服务端如何校验密码都由sasl决定。当我们的客户端通过校验，服务端便知晓客户端的身份，将赋给客户端相应的权限。 plain机制 sasl最常使用的认证机制就是plain。通过将用户名和密码以base64字符串（不加密）方式进行传输。 如果你需要更安全的传输，请结合TLS使用。 zookeeper 之
安装配置支持SASL认证的Kafka集群
joe2hpimn的博客
11-01 213
安装配置支持SASL认证的Kafka集群
Springboot集成使用阿里云kafka详细步骤
直到世界的尽头
03-29 9673
转载请注明出处:Springboot集成使用阿里云kafka详细步骤 明确连接认证类型 首先要明确使用哪种连接认证类型 Ons模式参考 https://github.com/AliwareMQ/aliware-kafka-demos/tree/master/kafka-java-demo/beta Ons模式的conf内容 KafkaClient { com.aliyun.open...
【TDH】Kafka的使用
象在舞的技术专栏
01-25 1248
1. Kafka使用前的配置        集群在不开启安全的情况下，可以直接进行创建topic的操作。如果集群开启了安全，需要进行相关的安全认证的参数配置。首先去到Kafka的config目录下。 1.1 修改producer.properties文件。 修改bootstrap.servers配置项如下： 在producer.properties文件的末尾添加如下配置： 1.2 修...
Kafka的配置和使用
qq_52240237的博客
08-03 5670
e KAFKA_ZOOKEEPER_CONNECT=172.21.10.10:2181/kafka 配置zookeeper管理kafka的路径172.21.10.10:2181/kafka。⑧、每条消息都有一个主题，消费者指定监听哪个主题的消息，如果进来消息队列的是我们指定监听的主题，就消费，否则不消费（topic这里指定的生产和消费的主题）-e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己。b、在开一个页面，运行kafka消费者发送消息。
Debezium系列之：记录数据库升级对Debezium的影响
zhengzaifeidelushang的博客
07-11 698
Debezium系列之：记录数据库升级对Debezium的影响
部署kafka时OS需要做什么?
xianweijian的博客
07-02 949
kafka作为一个突出读写性能的消息队列组件。如何做好性能调优，是我们的一个课题。这里我们探讨在os层面，可以对集群进行哪些优化。
Kafka消息队列安装与使用（四）
木讷的鱼
10-22 250
Kafka消息队列安装与使用（四）五. Kafka监控 五. Kafka监控 5.1 Kafka Eagle 1.修改 kafka 启动命令 修改 kafka-server-start.sh 命令中 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi 为 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server
Kafka常见错误及解决办法
热门推荐
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
[工作中爬过的坑] Kafka配置域名的三种难度
大数据学徒的文章
11-12 4915
文章目录1. 背景说明2. 初级难度 - 无认证Kafka3. 中级难度 - SASL/PLAIN认证Kafka4. 有人捣乱的难度 - Ambari中SASL/PLAIN认证Kafka 我曾经在不同的场景下给Kafka配置域名，难度各有不同，这篇文章按照从易到难的顺序介绍三种难度下给Kafka配置域名的方法。 1. 背景说明 在默认的Kafka配置下，客户端与Kafka集群通信都是通过brok...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值