【Kafka六】Kafka Producer和Consumer多Broker、多Partition场景

本文详细介绍了在Kafka环境中,如何配置3个Broker,创建1个拥有6个Partition且副本因子为2的Topic。同时探讨了Producer的使用,Partitioner的工作原理,以及Consumer的并发读取策略。文章还强调了在多Broker、多Partition场景下需要注意的几个关键问题。
摘要由CSDN通过智能技术生成

0.Kafka服务器配置

3个broker

1个topic,6个partition,副本因子是2

2个consumer,每个consumer三个线程并发读取

 

1. Producer

package kafka.examples.multibrokers.producers;

import java.util.Properties;
import java.util.Random;

import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;

public class MultiBrokerProducer {
    private static Producer<String, String> producer;
    private static Properties props = new Properties();

    static {
        props.put("metadata.broker.list", "192.168.26.140:9092,192.168.26.140:9093,192.168.26.140:9094");
        props.put("serializer.class", "kafka.serializer.StringEncoder");
        props.put("partitioner.class", "kafka.examples.multibrokers.partitioner.TopicPartitioner");
        props.
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值