【读取Kafka信息以及加密配置--Java】

于 2024-08-08 12:39:22 发布
阅读量1.1k 收藏 23
点赞数 25
文章标签： kafka linq 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46356409/article/details/141023806
版权

文章目录


在读取Kafka的某个topic时，通常不需要在配置中写入所有集群的IP地址。Kafka客户端（如消费者和生产者）只需要知道Kafka集群中的一个或几个broker的地址即可。这些地址被称为"bootstrap servers"。客户端会通过这些bootstrap servers连接到Kafka集群，并获取集群的元数据（包括所有broker的地址、topic的分区信息等）。

读取Kafka的某个topic，所有集群的IP都要写吗

配置示例

假设你有一个Kafka集群，包含以下三个broker：

  • broker1:9092
  • broker2:9092
  • broker3:9092

你可以在Kafka消费者或生产者的配置中指定这些broker作为bootstrap servers：

bootstrap.servers=broker1:9092,broker2:9092,broker3:9092

Java代码示例

以下是一个使用Kafka消费者读取某个topic的Java代码示例：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9092,broker2:9092,broker3:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "example-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

重要注意事项

  1. 高可用性：虽然只需要指定一个或几个broker作为bootstrap servers，但为了提高高可用性，建议至少指定两个或三个broker的地址。如果指定的broker不可用，客户端仍然可以通过其他broker连接到集群。

  2. 动态扩展：Kafka集群可以动态扩展或缩减broker数量。客户端通过bootstrap servers获取集群的元数据，因此即使集群中的broker发生变化，客户端也能自动适应。

  3. 安全性：如果Kafka集群启用了安全特性（如SSL/TLS或SASL），需要在客户端配置中添加相应的安全配置。

总结

在读取Kafka的某个topic时，不需要在配置中写入所有集群的IP地址。只需指定一个或几个broker作为bootstrap servers，客户端会通过这些broker获取集群的元数据，并连接到集群中的其他broker。为了提高高可用性，建议至少指定两个或三个broker的地址。

SSL/TLS或SASL获取配置、设置配置

在Kafka中启用SSL/TLS或SASL可以增强通信的安全性。以下是如何配置Kafka客户端（生产者和消费者）以使用SSL/TLS或SASL的详细步骤。

1. 配置SSL/TLS

获取配置

要启用SSL/TLS，您需要以下证书和密钥文件：

  • CA证书：用于验证Kafka broker的证书。
  • 客户端证书：客户端的公钥证书。
  • 客户端密钥：客户端的私钥。

这些文件通常由您的安全团队或通过证书颁发机构（CA）生成和分发。

设置配置

假设您有以下文件：

  • ca-cert.pem：CA证书
  • client-cert.pem：客户端证书
  • client-key.pem：客户端密钥

您可以在Kafka客户端的配置中设置这些文件。

Java代码示例
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaSSLConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9093,broker2:9093,broker3:9093");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "example-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // SSL Configuration
        props.put("security.protocol", "SSL");
        props.put("ssl.truststore.location", "/path/to/ca-cert.jks");
        props.put("ssl.truststore.password", "truststore-password");
        props.put("ssl.keystore.location", "/path/to/client-cert.jks");
        props.put("ssl.keystore.password", "keystore-password");
        props.put("ssl.key.password", "key-password");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

2. 配置SASL

获取配置

要启用SASL，您需要以下信息：

  • SASL机制：如PLAIN、SCRAM-SHA-256、SCRAM-SHA-512、GSSAPI（Kerberos）等。
  • 用户名和密码：用于身份验证的凭据。
设置配置

假设您使用SASL/PLAIN机制，并且有以下凭据：

  • 用户名：myuser
  • 密码：mypassword
Java代码示例
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaSASLConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9092,broker2:9092,broker3:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "example-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // SASL Configuration
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put("sasl.mechanism", "PLAIN");
        props.put("sasl.jaas.config", "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"myuser\" password=\"mypassword\";");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

3. 配置SSL/TLS和SASL联合使用

在某些情况下，您可能需要同时使用SSL/TLS和SASL来确保通信的安全性和身份验证。以下是如何配置Kafka客户端以同时使用SSL/TLS和SASL。

获取配置

您需要前面提到的SSL/TLS证书和密钥文件，以及SASL的用户名和密码。

设置配置

假设您使用SASL/PLAIN机制，并且有以下凭据：

  • 用户名：myuser
  • 密码：mypassword
Java代码示例
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaSSLAndSASLConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9093,broker2:9093,broker3:9093");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "example-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // SSL Configuration
        props.put("security.protocol", "SASL_SSL");
        props.put("ssl.truststore.location", "/path/to/ca-cert.jks");
        props.put("ssl.truststore.password", "truststore-password");
        props.put("ssl.keystore.location", "/path/to/client-cert.jks");
        props.put("ssl.keystore.password", "keystore-password");
        props.put("ssl.key.password", "key-password");

        // SASL Configuration
        props.put("sasl.mechanism", "PLAIN");
        props.put("sasl.jaas.config", "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"myuser\" password=\"mypassword\";");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

4. 配置文件示例

有时，您可能希望将配置放在一个属性文件中，然后在代码中加载该文件。以下是一个示例属性文件（consumer.properties）：

bootstrap.servers=broker1:9093,broker2:9093,broker3:9093
group.id=example-group
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

# SSL Configuration
security.protocol=SASL_SSL
ssl.truststore.location=/path/to/ca-cert.jks
ssl.truststore.password=truststore-password
ssl.keystore.location=/path/to/client-cert.jks
ssl.keystore.password=keystore-password
ssl.key.password=key-password

# SASL Configuration
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="myuser" password="mypassword";

然后在代码中加载该配置文件：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;

import java.io.FileInputStream;
import java.io.IOException;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerFromFileExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        try (FileInputStream fis = new FileInputStream("consumer.properties")) {
            props.load(fis);
        } catch (IOException e) {
            e.printStackTrace();
            return;
        }
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("example-topic"));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

总结

通过以上示例，您可以看到如何配置Kafka客户端以使用SSL/TLS和SASL进行安全通信和身份验证。以下是一些关键点：

  1. SSL/TLS配置：

    • 需要CA证书、客户端证书和客户端密钥。
    • 配置ssl.truststore.location、ssl.truststore.password、ssl.keystore.location、ssl.keystore.password和ssl.key.password。

  2. SASL配置：

    • 需要指定SASL机制（如PLAIN、SCRAM等）和相应的凭据。
    • 配置security.protocol、sasl.mechanism和sasl.jaas.config。

  3. 联合使用SSL/TLS和SASL：

    • 可以同时配置SSL/TLS和SASL，以确保通信的安全性和身份验证。

  4. 配置文件：

    • 可以将配置放在一个属性文件中，然后在代码中加载该文件，简化配置管理。

通过这些配置，您可以确保Kafka客户端与Kafka集群之间的通信是安全的，并且客户端能够正确地进行身份验证。希望这些示例对您有所帮助！如果您有任何进一步的问题或需要更多的示例，请随时告诉我。

进击的程序汪
关注
Kafka系列之：Apache Kafka端到端安全性，实现数据加密
zhengzaifeidelushang的博客
07-09 1221
Kafka系列之：Apache Kafka端到端安全性，实现数据加密
Kafka 之 AdminClient 配置
流华追梦的专栏
03-06 1675
一般情况下，我们都习惯使用 kafka-topics.sh 脚本来管理主题，但有些时候我们希望将主题管理类的功能集成到公司内部的系统中，打造集管理、监控、运维、告警为一体的生态平台，那么就需要以程序调用 API 的方式去实现。Kafka 社区于 0.11 版本正式推出了 Java 客户端版的 AdminClient，并不断地在后续的版本中对它进行完善。本文主要介绍 KafkaAdminClient 的配置项，以及各配置项的具体含义。
kafka消息加密(SASL/PLAIN)
zhaoyu_nb的博客
11-21 8407
kafka消息加密(SASL/PLAIN) 具体的配置方式官网已经说的很清楚了（尽量去官网看） 官网配置 分为以下几个步骤 1、 在conf文件目录下添加文件kafka_server_jaas.conf（文件目录 文件名随意）内容如下 KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule req...
Kafka的配置和使用
qq_52240237的博客
08-03 5419
e KAFKA_ZOOKEEPER_CONNECT=172.21.10.10:2181/kafka 配置zookeeper管理kafka的路径172.21.10.10:2181/kafka。⑧、每条消息都有一个主题，消费者指定监听哪个主题的消息，如果进来消息队列的是我们指定监听的主题，就消费，否则不消费（topic这里指定的生产和消费的主题）-e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己。b、在开一个页面，运行kafka消费者发送消息。
kafka使用ssl加密和认证
每个人都是一道菜。。。
04-28 4837
学习过kafka的人都知道，kafka的默认端口是9092，且消费kafka消息的命令也极其简单。现在随着kafka在消息传输应用中使用的越来越广泛，那么生产环境中消息的保密性也变的重要了，所以生产环境使用ssl来认证kafka是比较必要的。 ...
kafka2.x版本配置SSL进行加密和身份验证
最新发布
heming20122012的专栏
03-19 2690
与步骤 1 中存储每台机器自己的身份的密钥库不同，客户机的信任库存储客户机应信任的所有证书。您可以使用单个 CA 对集群中的所有证书进行签名，并让所有计算机共享信任该 CA 的同一信任库。因此，只要 CA 是真实且受信任的颁发机构，客户端就可以高度保证它们连接到真实的计算机。部署一个或多个支持 SSL 的代理的第一步是为集群中的每台计算机生成密钥和证书。完成第一步后，群集中的每台计算机都有一个公钥-私钥对，以及一个用于标识计算机的证书。生成的 CA 只是一个公钥-私钥对和证书，它旨在对其他证书进行签名。
Kafka SASL/PLAIN加密 及Kafka-Python整合
Aarend的博客
10-10 4521
SASL/PLAIN是kafka中一种使用用户名/密码的身份验证机制，本文使用Kafka-Python2.02 及kafka3.2.0进行简单的整合操作。
kafka java客户端加密_kafka消息加密(SASL/PLAIN)
weixin_42516657的博客
02-27 1812
kafka消息加密(SASL/PLAIN)具体的配置方式官网已经说的很清楚了(尽量去官网看)官网配置分为以下几个步骤1、 在conf文件目录下添加文件kafka_server_jaas.conf(文件目录 文件名随意)内容如下KafkaServer {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="...
kafka配置ssl加密
hello world
09-02 4062
1.背景： 之前的证书过期了，kafka的服务日志一直报 Failed authentication with /ip (SSL handshake failed) 生产者报的错误 PKIX path validation failed: java.security.cert.CertPathValidatorException: timestamp check failed 2.重新生成 一） 生成认证文件 1） 为每个Kafka broker生成SSL密钥和证书。 keytool -keystore
kafka_2.11-2.2.1--.zip
12-14
Kafka 的核心特性包括发布订阅模式、高吞吐量、持久化存储以及容错性。在本篇文章中，我们将深入探讨 Kafka 2.2.1 版本的关键特性和使用场景。 1. **发布订阅模型**：Kafka 使用发布订阅模式来传输数据，其中生产者...
最新版kafka kafka_2.12-2.5.1.tgz
08-13
**Kafka 2.5.1 知识点详解** ...理解其架构和组件，以及如何配置和使用，是充分利用 Kafka 功能的关键。随着版本的更新，Kafka 不断优化性能和安全性，使其成为现代大数据生态系统中的重要组成部分。
kafka-2.12-3.3.2.tgz
02-01
4. **消费者（Consumer）**：消费者从Kafka的主题中读取数据。消费者可以属于消费者组（Consumer Group），这样可以实现负载均衡和容错。 5. **消费者组（Consumer Group）**：消费者组是消费者的逻辑集合，每个...
Kafka集群多用户访问权限分治和消息共享配置指导
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
04-24 2869
这明显在生产环境，这种认证方式时不符合实际业务场景的。allow.everyone.if.no.acl.found=true #false的话就只能超级用户才能访问资源，true的话其他也可以，如果用户读写一个 Topic，但是没有配置 ACL 权限，客户端会报认证失败错误。现场业务由于多厂商集成，共享数据需要，需对接当前kafka集群，为做到类似租户隔离的功能，需要开启kafka的权限控制和动态用户管理功能，实现不同厂商访问被授权的合法资源，消费者账号只能消费数据，生产者账号只能生产数据。
Kafka3.4 SASL/kerberos/ACL 证以及 SSL 加密连接
青冬的博客
08-07 2594
kafka sasl 搭建，以及 SSL 传输加密搭建，最新版本 kafka3.4 实操。 其他节点只需要安装执行
Kafka实战：集群SSL加密认证和配置（最新版kafka-2.7.0）
qq_43842093的博客
05-09 1404
这个命令，可随机在任一broker节点执行,只需要执行一次，执行完成后生成了两个文件cat-key、ca-cert，将这两个文件分别拷贝到所有broker节点上，后面需要用到。类似的，CA签署证书，密码保证签署的证书在计算上很难被伪造。执行命令时，输入first and last name，这里需要输入你的主机名，确保公用名（CN）与服务器的完全限定域名（FQDN）精确相匹配。每个节点执行一次后，集群中的每一台机器都有一个公私密钥对、一个标识该机器的证书,注意这里是所有的broker节点都要执行这个命令。
Kafka系列之：基于Apache Kafka Connect实现端到端topic数据字段级加密的详细方法
zhengzaifeidelushang的博客
07-09 1189
Kafka系列之：基于Apache Kafka Connect实现端到端topic数据字段级加密的详细方法
kafka 设置用户密码和通过SpringBoot测试
Tongyao
05-24 7922
这篇配置Kafka账号密码的，看不会就是看不起我i Kun
MQ黄金三剑客：RabbitMQ、RocketMQ和Kafka深入解密常见问题及功能对比指南
Hanko的专栏
07-11 584
MQ黄金三剑客：RabbitMQ、RocketMQ和Kafka深入解密常见问题及功能对比指南
Kafka监控利器：kafka-eagle 安装与配置详解
压缩包解压后，通常会包含所有必要的文件和文件夹，需要将其解压到你选择的安装目录，如`/opt/kafka-eagle`。 安装过程中，你需要编辑`conf/system-config.properties`文件来设置Kafka Eagle与Kafka集群的连接信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值