![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 83
Scathon
追梦之猿
展开
-
kafka-broker配置参数详解
1. num.partitions 含义:指明了新创建的主题将会有多少个分区数量。 **如何选择分区数量? 1):考虑主题吞吐量,100k or 1G? 2):单个分区读取数据的最大吞吐量是多少,例如,每个分区一般都会有一个消费者, 该消费者写入数据库的速度是每秒50M,那么以为这从一个分区读取数据的速度不 需要超过50M/s ...原创 2018-08-19 12:04:35 · 2353 阅读 · 0 评论 -
kafka-producer配置参数
kafka配置参数详解 参数名称 参数解释 acks acks指定了必须有多少个分区副本接收到了消息,生产者才会认为消息是发送成功的。 acks=0,生产者成功写入消息之前不会等待来自任何服务器的响应,这种配置,提高吞吐量,但是消息存在丢失风险。 acks=1,只要集群的leader(master)收到了消息,生产者将会受到发送成功的一个响应,如果消息无撞...原创 2018-09-02 15:12:52 · 12561 阅读 · 1 评论 -
kafka生产者API入门-01
废话不多说,直接上代码:package com.scathon.kafka;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaStream;import kafka.javaapi.consumer.ConsumerConnector;import org.apache.kafka.clients.c...原创 2018-09-02 15:20:14 · 399 阅读 · 0 评论 -
kafka消费者核心之轮询
参考资料:《kafka权威指南》消息轮询是消费者API 的核心,通过一个简单的轮询向服务器请求数据。一旦消费者订阅了主题,轮询就会处理所有的细节,包括群组协调、分区再均衡、发送心跳和获取数据,开发者只需要使用一组简单的API 来处理从分区返回的数据。从上面可以看出,轮询不仅仅是简单的获取数据。第一次调用消费者Api的Poll方法进行轮询的时候,它会负责查找CroupCoordinator(...原创 2018-09-02 17:29:36 · 7101 阅读 · 0 评论 -
kafka消费者配置参数
kafka-consumer配置参数(大部分默认值均可,但是下面这些参数对性能以及可用性影响较大) 参数名称 参数含义 fetch.min.bytes 消费者从服务器获取记录的最小字节数,broker收到消费者拉取数据的请求的时候,如果可用数据量小于设置的值,那么broker将会等待有足够可用的数据的时候才返回给消费者,这样可以降低消费者和broker的工作负载,因为当主题不是很...原创 2018-09-02 17:33:28 · 23097 阅读 · 0 评论