Kafka一些参数配置

本文详细介绍了Kafka的Producer消息发送过程,包括Offset管理、Coordinator和Rebalance策略。讨论了常见异常处理、如何提升消息吞吐量、请求超时的参数设置以及ACK参数对数据一致性的影响。此外,还讲解了Consumer的Offset管理、Coordinator的角色以及Rebalance策略,包括range、round-robin和sticky策略,并分析了关键参数对消费者行为的影响。
摘要由CSDN通过智能技术生成
Producer消息发送

producer.send(msg); // 用类似这样的方式去发送消息,就会把消息给你均匀的分布到各个分区上去
producer.send(key, msg); // 订单id,或者是用户id,他会根据这个key的hash值去分发到某个分区上去,他可以保证相同的key会路由分发到同一个分区上去。
每次发送消息都必须先把数据封装成一个ProducerRecord对象,里面包含了要发送的topic,具体在哪个分区,分区key,消息内容,timestamp时间戳,然后这个对象交给序列化器,变成自定义协议格式的数据,接着把数据交给partitioner分区器,对这个数据选择合适的分区,默认就轮询所有分区,或者根据key来hash路由到某个分区,这个topic的分区信息,都是在客户端会有缓存的,当然会提前跟broker去获取。接着这个数据会被发送到producer内部的一块缓冲区里,然后producer内部有一个Sender线程,会从缓冲区里提取消息封装成一个一个的batch,然后每个batch发送给分区的leader副本所在的broker。

常见异常处理
常见的异常如下:

1)LeaderNotAvailableException:某台机器挂了,此时leader副本不可用,会导致你写入失败,要等待其他follower副本切换为leader副本之后,才能继续写入,此时可以重试发送即可。
2)NotControllerException:这个也是同理,如果说Controller所在Broker挂了,那么此时会有问题,需要等待Controller重新选举,此时也是一样就是重试即可
3)NetworkException:网络异常,重试即可
参数:retries 默认值是3
参数:retry.backoff.ms 两次重试之间的时间间隔

提升消息吞吐量

1)buffer.memory:设置发送消息的缓冲区,默认值是33554432,就是32MB
如果发送消息出去的速度小于写入消息进去的速度,就会导致缓冲区写满,此时生产消息就会阻塞住,所以说这里就应该多做一些压测,尽可能保证说这块缓冲区不会被写满导致生产行为被阻塞住

	  Long startTime=System.currentTime();

producer.send(record, new Callback() {

		@Override
		public void onCompletion(RecordMetadata metadata, Exception exception) {
			if(exception == null) {
				// 消息发送成功
				System.out.println("消息发送成功");  
			} else {
				// 消息发送失败&#x
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Java中,可以使用以下代码来配置Kafka参数: ```java import java.util.Properties; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.consumer.ConsumerConfig; public class KafkaConfigExample { public static void main(String[] args) { Properties props = new Properties(); // Kafka Producer 配置 props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer"); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer"); // Kafka Consumer 配置 props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-consumer-group"); props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); // 其他配置 props.put(ProducerConfig.ACKS_CONFIG, "all"); // 使用配置创建 Kafka Producer 或 Consumer // KafkaProducer<String, String> producer = new KafkaProducer<>(props); // KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); } } ``` 上述代码中,我们使用`Properties`类来创建一个属性对象`props`,然后使用`props.put()`方法来设置不同的Kafka参数。例子中展示了一些常用的配置参数,比如`BOOTSTRAP_SERVERS_CONFIG`(Kafka集群地址)、`KEY_SERIALIZER_CLASS_CONFIG`(键的序列化器类)和`VALUE_SERIALIZER_CLASS_CONFIG`(值的序列化器类)等。 你可以根据自己的需求进一步配置其他参数。注意,在创建Kafka Producer 或 Consumer 时,你需要将这个`props`对象传递给构造函数。 以上是一个简单的示例,你可以根据自己的实际情况进行更多的配置
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值