docker-compose部署kafka、SASL模式(密码校验模式)_system

最新推荐文章于 2024-08-19 08:24:46 发布
最新推荐文章于 2024-08-19 08:24:46 发布
阅读量1.4k 收藏 16
点赞数 23
分类专栏： 2024年程序员学习 文章标签： docker kafka 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84159966/article/details/137760627
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

Client {
    org.apache.zookeeper.server.auth.DigestLoginModule required
    username="admin"
    password="123456";
};


Server {
    org.apache.zookeeper.server.auth.DigestLoginModule required
    username="admin"
    password="123456"
    user_super="123456"
    user_admin="123456";
};

KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="123456"  
    user_admin="123456";
};

KafkaClient {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="123456";
};

zoo.cfg配置

其他的没改变，就是最后添加的四行

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/opt/zookeeper-3.4.13/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=1

## 开启SASl关键配置
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000
zookeeper.sasl.client=true

docker-compose.yml

# 版本根据你的docker版本来的，目前主流应该都是3.几的版本
version: '3.8'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    volumes:
      - C:/docker/kafka1/secrets/:/opt/secrets/
      - C:/docker/kafka1/zookeeper/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg
    container_name: zookeeper
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      SERVER_JVMFLAGS: -Djava.security.auth.login.config=/opt/secrets/server_jaas.conf
    ports:
      - 2181:2181
    restart: always
  kafka:
    image: wurstmeister/kafka
    container_name: kafka
    depends_on:
      - zookeeper
    ports: 
      - 9092:9092
    volumes:
      - C:/docker/kafka1/secrets/:/opt/secrets/
    environment:
      KAFKA_BROKER_ID: 0
      KAFKA_ADVERTISED_LISTENERS: SASL_PLAINTEXT://192.168.1.20:9092
      KAFKA_ADVERTISED_PORT: 9092 
      KAFKA_LISTENERS: SASL_PLAINTEXT://0.0.0.0:9092
      KAFKA_SECURITY_INTER_BROKER_PROTOCOL: SASL_PLAINTEXT
      KAFKA_PORT: 9092 
      KAFKA_SASL_MECHANISM_INTER_BROKER_PROTOCOL: PLAIN
      KAFKA_SASL_ENABLED_MECHANISMS: PLAIN
      KAFKA_AUTHORIZER_CLASS_NAME: kafka.security.auth.SimpleAclAuthorizer
      KAFKA_SUPER_USERS: User:admin
      KAFKA_ALLOW_EVERYONE_IF_NO_ACL_FOUND: "true" #设置为true，ACL机制为黑名单机制，只有黑名单中的用户无法访问，默认为false，ACL机制为白名单机制，只有白名单中的用户可以访问
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_HEAP_OPTS: "-Xmx512M -Xms16M"
      KAFKA_OPTS: -Djava.security.auth.login.config=/opt/secrets/server_jaas.conf
  kafka-ui:
    image: provectuslabs/kafka-ui:latest
    container_name: kafka-ui
    restart: always
    ports:
        - 10010:8080
    environment:
        - DYNAMIC_CONFIG_ENABLED=true
        - SERVER_SERVLET_CONTEXT_PATH=/kafka-ui
        - KAFKA_CLUSTERS_0_NAME=local
        - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092
        - KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SASL_PLAINTEXT
        - KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM=PLAIN
        - KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="123456";
    depends_on:
      - zookeeper
      - kafka

这是一个Docker Compose文件，用于定义和运行多个Docker容器的应用。我会为你详细解释这个文件的内容：

  1. 版本:

    • version: '3.8': 指定了Docker Compose的版本为3.8。

  2. services:

    • 定义了两个服务，分别是zookeeper和kafka。

  3. zookeeper:

    • 使用wurstmeister/zookeeper镜像来创建容器。
    • 挂载了两个卷：一个是本地的C:/docker/kafka1/secrets/目录到容器内的/opt/secrets/目录，另一个是本地的C:/docker/kafka1/zookeeper/zoo.cfg文件到容器内的/opt/zookeeper-3.4.13/conf/zoo.cfg文件。
    • 设置容器的名称为zookeeper。
    • 设置环境变量：如ZOOKEEPER_CLIENT_PORT, ZOOKEEPER_TICK_TIME, SERVER_JVMFLAGS等。
    • 映射容器的2181端口到主机的2181端口。
    • 设置容器在退出后总是重启。

  4. kafka:

    • 使用wurstmeister/kafka镜像来创建容器。
    • 容器名称为kafka。
    • 这个服务依赖于zookeeper服务，这意味着它会等待zookeeper服务启动后再启动。
    • 映射容器的9092端口到主机的9092端口。
    • 挂载了与zookeeper相同的卷。
    • 设置环境变量，包括Kafka的配置如：广告监听器、端口、安全协议、SASL机制等。还定义了Kafka的超级用户为“admin”。
    • 设置Kafka的存储和堆大小。

  5. 总体解释:
    这是一个使用Docker Compose配置Kafka和Zookeeper集群的示例。Zookeeper作为Kafka的协调服务，负责管理集群的状态和配置。这个配置文件中，Zookeeper和Kafka都有详细的配置和环境变量设置，以适应特定的使用场景或安全需求。例如，SASL_PLAINTEXT是用于安全认证的协议，而SimpleAclAuthorizer则是一个简单的访问控制列表作者器，用于权限控制。

这是一个Docker Compose配置文件的一部分，用于设置Kafka UI服务。Kafka UI是一个用于管理和监视Apache Kafka集群的工具。以下是对该配置的详细解释：

  1. image:

    • 使用provectuslabs/kafka-ui:latest镜像来创建容器。这个镜像是专门为Kafka UI提供的，并保持最新。

  2. container_name:

    • 容器的名称为kafka-ui。

  3. restart:

    • 设置容器的重启策略为always，这意味着容器将始终在退出后自动重启。

  4. ports:

    • 将容器的8080端口映射到主机的10010端口，这样你就可以从主机访问Kafka UI。

  5. environment:

    • 这些是传递给容器的环境变量。它们用于配置Kafka UI的各种设置。
      • DYNAMIC_CONFIG_ENABLED=true: 启用动态配置。
      • SERVER_SERVLET_CONTEXT_PATH=/kafka-ui: 设置服务器的Servlet上下文路径。
      • KAFKA_CLUSTERS_0_NAME=local: 第一个Kafka集群的名称为“local”。
      • KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092: 第一个Kafka集群的引导服务器地址是kafka:9092。
      • KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SASL_PLAINTEXT: 安全协议设置为SASL_PLAINTEXT。
      • KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM=PLAIN: SASL机制设置为PLAIN。
      • KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG=...: SASL JAAS配置，其中定义了用户名和密码。

  6. depends_on:

    • 这部分指定了该服务所依赖的其他服务。在这里，它依赖于zookeeper和kafka服务，这意味着Kafka UI服务将在这些服务启动后启动。

总之，这个配置是用于设置Kafka UI服务的Docker容器，该服务依赖于Zookeeper和Kafka集群，并使用特定的环境变量进行配置。

kafka-ui测试

http://localhost:10010/kafka-ui

java生产者

 

public class KafkaProducerTest {

    public static void main(String[] args) {


        String user = "admin";
        String password = "123456";
        String topic = "test-topic";

        Properties properties = new Properties();
        //	1.配置生产者启动的关键属性参数

        properties.put("group.id", "test_group");

 
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092");
  
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        //	VALUE: 实际发送消息的内容
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // ssl加密和认证
        properties.put("security.protocol", "SASL_PLAINTEXT");
        properties.put("sasl.mechanism", "PLAIN");
        properties.put("sasl.jaas.config",
                "org.apache.kafka.common.security.scram.ScramLoginModule "
                        + "required username=\"" + user + "\" password=\"" + password + "\";");
        //	2.创建kafka生产者对象 传递properties属性参数集合
        KafkaProducer<String, String> producer = new KafkaProducer<>(properties);

        for (int i = 0; i < 1000; i++) {
            //	3.构造消息内容
            try {
                Thread.sleep(500);
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }

            ProducerRecord<String, String> record = new ProducerRecord<String, String>("H0162", i + " : testxiaoxixixiix接口连接123");

            //	4.发送消息
            producer.send(record);
            System.out.println("发送成功： " + i);
        }


        //	5.关闭生产者
        producer.close();

    }
}

java消费者

 
public class KafkaConsumerTest {

    public static void main(String[] args) {
        String user = "admin";
        String password = "123456";
        String topic = "test-topic";

        Properties props = new Properties();
        // bootstrap.servers：kafka服务器地址，见中间服务平台”机构授权“功能操作说明 36.137.123.54:9092为示例地址
        props.put("bootstrap.servers", "127.0.0.1:9092");
        props.put("group.id", topic);
        props.put("auto.offset.reset", "earliest");
        // 序列化方式
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        // ssl加密和认证
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put("sasl.mechanism", "PLAIN");
        props.put("sasl.jaas.config",
                "org.apache.kafka.common.security.scram.ScramLoginModule "
                        + "required username=\"" + user + "\" password=\"" + password + "\";");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        consumer.subscribe(Collections.singletonList(topic));


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/fac9f186c75fe2045989474f9c1506f8.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

ew KafkaConsumer<>(props);

        consumer.subscribe(Collections.singletonList(topic));


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-ObOq0lRQ-1713119121435)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84159966
关注
专栏目录
使用 Docker-Compose 部署 ZooKeeper + Kafka + Kafka-UI
种一棵树最好的时间是十年前，其次是现在。
05-04 1475
使用 Docker-Compose来部署 Kafak + Zookeeper，有密码与无密码配置，使用 Kafka-UI 来连接 Kafak 集群；
docker-compose→kafka镜像制作,kraft集群容器编排一键启动
u010711867的博客
03-30 439
我开始也是用stars最多的镜像也就是bitnami/kafka,但是我发现这个镜像在做kraft集群的时候有问题,就是它没办法选择配置文件启动,一直用的和zookeeper一起启动的配置文件启动,然后镜像我又没办法控制,所以我干脆就自己写了一个cluster.id可以到容器中去生成,现在先启动,不用管生成好了更新到配置文件,重启容器即可生成命令每个kraft中都有两个配置文件meta.properties和server.properties-d: 后台启动。
docker-compose安装带SASL认证的kafka
牧码人博客@luckyhe.com
09-06 3191
本篇文章会介绍使用使用`docker-compose`安装带SASL认证的Kafka消息队列。为啥会有这篇文章主要是网上一些文章太折磨人了，都是互抄的而且都是错的。我配合`SpringBoot`调试搞了我一天。为啥要搞SASL认证也主要是为了安全考虑。如果不加认证，`Kafka`应用就是裸露在外面的，会有安全风险。阅读此文前，需要对`docker-compose`有一个基础认知，本文并不属于小白文。
dockercompose 实现kafka SASL认证
zhxi1121的博客
03-24 4650
dockercompose 实现kafka SASL认证使用 SASL/PLAIN 认证直接上dockercompose.yml配置把kafka_server_jaas.conf,zk_server_jaas.conf 放入指定的路径 使用 SASL/PLAIN 认证 SASL/PLAIN 认证是最简单的认证方式,网上也有很多大神写过相关的文章,不过关于docker-compose的几乎没有,所以...
使用docker-compose运行kafka及验证（无需zookpeer）
最新发布
qq_39766779的博客
08-19 708
使用docker-compose安装kafka（无需zookpeer），镜像版本：apache/kafka:3.8.0
docker-compose部署 kafka 3.7 启用账号密码认证
运维玄德公
06-05 2201
docker-compose部署 kafka 3.7 并启用账号密码认证
基于docker-compose部署kafka、SASL模式【密码校验模式】
Yamo的博客
04-27 372
1. Zookeeper 注册中心 2. Kafka 消息中心 3. Kafka-ui 可视化web界面
基于 SASL/SCRAM 让 Kafka 实现动态授权认证
zlt2000的博客
07-29 703
本文将从零开始部署ZooKeeper和Kafka并通过配置SASL/SCRAM和ACL（访问控制列表）来增强Kafka的安全性
最全docker-compose部署kafka、SASL模式(密码校验模式)_system
2401_84182428的博客
05-04 859
Zookeeper作为Kafka的协调服务，负责管理集群的状态和配置。这个配置文件中，Zookeeper和Kafka都有详细的配置和环境变量设置，以适应特定的使用场景或安全需求。例如，SASL_PLAINTEXT是用于安全认证的协议，而SimpleAclAuthorizer则是一个简单的访问控制列表作者器，用于权限控制。总之，这个配置是用于设置Kafka UI服务的Docker容器，该服务依赖于Zookeeper和Kafka集群，并使用特定的环境变量进行配置。其他的没改变，就是最后添加的四行。
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点的服务集群。通过指定镜像、端口映射、环境变量和依赖关系等配置，实现了Zookeeper和Kafka的快速部署和集成。同时，在定义了一个名为"mynetwork"的...
docker-compose部署kafka、SASL模式(密码校验模式)
yuguang的博客
01-11 2957
注意点：192.168.1.20 是宿主机的ip。
docker-compose创建kafka支持SASL_PLAINTEXT_kafka配置sasl_plaintext认证在docker-compose
2401_84159966的博客
04-08 862
外链图片转存中…(img-FMTRck0E-1712514760301)]
docker-compose部署 kafka 3.7 集群（3台服务器）并启用账号密码认证
运维玄德公
06-06 1730
docker-compose部署 kafka 3.7 集群（3台服务器）并启用账号密码认证
docker安装的es配置密码认证
xiaolong1155的博客
05-11 1101
​ 今天客户提出来，说es的端口是暴露出来的，可以直接取出来数据，按照要求，必须对9200进行密码配置。准备好几种方案，nginx的反向代理加上认证配置（但是是一个单体的服务，只在一台机器，所以没办法采用）。防火墙的配置（但是因为客户服务器的防火墙是关闭的，不能轻易打开防火墙）等。
Kafka SASL认证与ACL配置
u010100623的博客
04-30 1987
SASL/PLAIN，这种方式其实就是一个的认证方式，不过它有很多缺陷，比如用户名密码是存储在文件中，等等！建议大家用SASL/SCRAM的方式 ，这种方式 用户名/密码是存储在zookeeper中，能够。该种认证方式还会使用sha256或sha512对，安全性相对会高一些。本文主要介绍SASL/PLAIN。
KAFKA集群 和kafka-ui docker-compose 一键安装
qq_46281780的博客
04-14 1411
装了好久，希望能帮助上大家，kafka装起来太多坑了，网上找的照着装也会有各种各样的问题，所以这里写的算是比较详细了，之前的教程kafka-ui重定向了，没注意，一直用8080访问不到，重装了好几次，后面才发现。大家可以把docker-compose.yml配置文件好好看看。​ 在页面Topic中点击Add即可。如果kafka-ui显示为黄色或红色，且Broker和Topics点击后一直转圈，说明端口未开放。如有自动重启等问题，说明有问题。没有的话就安装完成了。这样内存就不会不足了。
【kafka】docker容器bitnami/kafka使用SASL鉴权（无TLS）
weixin_41855143的博客
05-01 2591
可以设置为一个新的listener，也可以设置为现有的listener（controller除外），本文就以设置现有的listener为例，将改值设置为。后来发现其实是可以单独使用SASL，而且官方文档没有完整的配置资料，最后在Issue上找到解决方案。最近在学习kafka消息队列，了解到kafka是通过SASL来进行用户认证的。参数的作用是一致的，都是为了设置broker之间通信的配置，由于。默认值的，但是这个值在容器使用中会出现错误，而且在。设置之后依然存在问题，本文暂不讨论，后续就以。
Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka
2401_84166396的博客
04-08 939
化！**
docker 搭建kafka之后怎么给kafka设置安全权限，分配用户
05-30
在使用 Docker 搭建 Kafka 后，可以通过以下步骤设置安全权限并分配用户： 1. 启用 SSL/TLS 加密传输。在 Kafka 的配置文件 server.properties 中，设置以下参数： ``` ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1 ssl.keystore.location=<path-to-keystore-file> ssl.keystore.password=<keystore-password> ssl.key.password=<key-password> ssl.truststore.location=<path-to-truststore-file> ssl.truststore.password=<truststore-password> ``` 其中，`ssl.keystore.location` 和 `ssl.truststore.location` 分别指定 keystore 和 truststore 的路径，`ssl.keystore.password` 和 `ssl.truststore.password` 分别指定 keystore 和 truststore 的密码，`ssl.key.password` 指定私钥的密码。 2. 配置 SSL/TLS 认证。在 Kafka 的配置文件 server.properties 中，设置以下参数： ``` ssl.client.auth=required ssl.endpoint.identification.algorithm= ``` 其中，`ssl.client.auth` 指定客户端必须进行 SSL/TLS 认证，`ssl.endpoint.identification.algorithm` 不进行主机名验证。 3. 创建 Kafka 用户。在 Kafka 的配置文件 server.properties 中，设置以下参数： ``` authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer super.users=User:admin ``` 其中，`authorizer.class.name` 指定认证器的类名，`super.users` 指定超级用户，这里指定了一个名为 admin 的用户为超级用户。 4. 配置 ACL。在 Kafka 的配置文件 server.properties 中，设置以下参数： ``` allow.everyone.if.no.acl.found=false ``` 这里指定如果没有找到 ACL，则拒绝所有用户的访问。 5. 创建 ACL。在 Kafka 的配置文件 server.properties 中，设置以下参数： ``` kafka-acls --authorizer-properties zookeeper.connect=<zookeeper-host>:<zookeeper-port> --add --allow-principal User:<username> --operation All --topic <topic> ``` 其中，`zookeeper.connect` 指定 ZooKeeper 的连接字符串，`--add` 添加 ACL，`--allow-principal User:<username>` 指定允许访问的用户，`--operation All` 指定允许的操作，`--topic <topic>` 指定允许访问的主题。 以上就是设置 Kafka 安全权限并分配用户的步骤。需要注意的是，在实际使用过程中，还需要根据实际情况进行调整和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值