Kafka集成Kerberos之后如何使用生产者消费者命令

前提:

1、kafka版本1.0.1
2、在linux中使用kinit刷新kerberos认证信息/在配置文件中配置keytab路径和票据

1、生产者

1.1、准备jaas.conf并添加到环境变量(使用以下方式的其中一种)

1.1.1、使用Kinit方式

前提是手动kinit

配置内容为:

KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useTicketCache=true
renewTicket=true
serviceName="kafka";
};

1.1.2、使用指定keytab和票据的方式

准备好你的keytab文件

配置内容为:

KafkaClient {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   keyTab="/usr/keytab/xiet.keytab"
   principal="xiet@BETA.COM";
};

* 添加到环境变量:

export KAFKA_OPTS="-Djava.security.auth.login.config=/home/xxx/jaas.conf"

2、执行命令

 

kafka-console-producer --broker-list xxx:9092,yyy:9092 --topic sparktest 
--security-protocol SASL_PLAINTEXT

或者使用配置文件的方式

producer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

kafka-console-producer --broker-list 10.211.55.5:9093 --topic test --producer.config
config/producer.properties

2、消费者

2.1、准备jaas.conf并添加到环境变量

内容同1.1节

2.2、准备consumer.properties

文件内容为:

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka
group.id=test-consumer-group

 

2.3、执行命令

kafka-console-consumer --bootstrap-server xxx:9092,yyy:9092 --topic sparktest 
--from-beginning --consumer.config ./consumer.properties

 

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Kafka消费者生产者实例的步骤如下: 1. 首先,在项目的配置文件中引入Kafka客户端的依赖。可以在pom.xml文件中添加以下依赖项: ```xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.3.1</version> </dependency> ``` 2. 创建Kafka生产者实例。可以使用以下代码创建一个KafkaProducer的实例: ```java @Configuration public class Config { public final static String bootstrapServers = "127.0.0.1:9092"; @Bean(destroyMethod = "close") public KafkaProducer<String, String> kafkaProducer() { Properties props = new Properties(); // 设置Kafka服务器地址 props.put("bootstrap.servers", bootstrapServers); // 设置数据key的序列化处理类 props.put("key.serializer", StringSerializer.class.getName()); // 设置数据value的序列化处理类 props.put("value.serializer", StringSerializer.class.getName()); KafkaProducer<String, String> producer = new KafkaProducer<>(props); return producer; } } ``` 3. 创建Kafka消费者实例。可以使用以下代码创建一个KafkaConsumer的实例: ```java @Configuration public class Config { public final static String bootstrapServers = "127.0.0.1:9092"; @Bean public KafkaConsumer<String, String> kafkaConsumer() { Properties props = new Properties(); // 设置Kafka服务器地址 props.put("bootstrap.servers", bootstrapServers); // 设置消费者组ID props.put("group.id", "my-consumer-group"); // 设置数据key的反序列化处理类 props.put("key.deserializer", StringDeserializer.class.getName()); // 设置数据value的反序列化处理类 props.put("value.deserializer", StringDeserializer.class.getName()); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); return consumer; } } ``` 4. 使用Kafka生产者发送消息。可以使用以下代码将消息发送到Kafka集群: ```java @Autowired private KafkaProducer<String, String> kafkaProducer; public void sendMessage(String topic, String key, String value) { ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, value); kafkaProducer.send(record); } ``` 5. 使用Kafka消费者接收消息。可以使用以下代码从Kafka集群中消费消息: ```java @Autowired private KafkaConsumer<String, String> kafkaConsumer; public void consumeMessages(String topic) { kafkaConsumer.subscribe(Collections.singletonList(topic)); while (true) { ConsumerRecords<String, String> records = kafkaConsumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { // 处理接收到的消息 System.out.println("Received message: " + record.value()); } } } ``` 请注意,以上代码只是示例,实际使用时需要根据具体的业务需求进行适当的修改和扩展。 #### 引用[.reference_title] - *1* *3* [Java实现Kafka生产者消费者的示例](https://blog.csdn.net/heihaozi/article/details/111042472)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Kafka系列之:Kafka生产者消费者](https://blog.csdn.net/zhengzaifeidelushang/article/details/129284470)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值