![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
dinghua_xuexi
这个作者很懒,什么都没留下…
展开
-
利用Jconsole查看kafka任意Broker的指标
1 进入zookeeper命令窗口[bigdataservice@zk-01 ~]$ zookeeper-client Connecting to localhost:21812020-10-17 16:04:43,189 [myid:] - INFO [main:Environment@100] - Client environment:zookeeper.version=3.4.5-cdh6.2.0--1, built on 03/14/2019 06:15 GMT2020-10-17 1原创 2020-10-17 16:34:42 · 416 阅读 · 0 评论 -
Kafka中的时间轮调度算法
问题背景在kafka生产者发送数据过程中,源源不断的产生数据,然后发给kafka。我们考虑这样一种场景,数据产生速率时快时慢,我们是不是产生一条发送一条呢?很显然,在高吞吐数据场景下,这样的作法,IO性能不高,没有很好的利用socket缓存。那么是不是一定要积累到一定量再发数据呢?这在低吞吐场景下,数据时效性又没法保证。因此,我们一般结合数据量和时间两个因素来考量数据发送的时机。除了这种场景外,还有许多场景,需要用到定时器,在java传统的Timer定时器,定时比较固定刻板,不够灵活,而且效率也不高。因原创 2020-10-10 17:23:08 · 871 阅读 · 0 评论 -
Kafka生产者拦截器的使用
拦截器定义package thread;import com.fasterxml.jackson.databind.ObjectMapper;import org.apache.kafka.clients.producer.ProducerInterceptor;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.clients.producer.RecordMetadata;im原创 2020-10-09 11:08:31 · 331 阅读 · 0 评论 -
kafka集群性能的OS参数
1 文件描述符kafka读写磁盘会频繁的创建并修改文件系统中的文件,主要有下面3类日志文件索引文件元数据文件一个broker需要控制的文件数 近似 等于(一个topic分区大小/ 分区段文件大小 ) * 3 * 所有topic分区数总和比如一个partition(topic 分区) 大小为200G, 一个partition segment(分区段文件)大小为10G, 并且该broker上面有100个topic分区则 该broker上面需要维护的文件个数为 (200 /..原创 2020-10-08 16:10:59 · 366 阅读 · 0 评论 -
kafka 生产消费性能测试
生产数据压力测试kafka-producer-perf-test.sh 脚本命令的参数为:--topic topic名称,比如test--num-records 总共需要发送的消息数,比如为1000000--record-size 每个记录的字节数,比如1000--throughput 每秒钟发送的最大记录数,比如20000--producer-props bootstrap.servers=kafka-01:9092,kafka-02:9092,kafka-03:9092 发送端的配置信息,原创 2020-10-08 10:50:37 · 1774 阅读 · 1 评论 -
Kafka反解域名导致发消息失败:java.io.IOException: Can't resolve address: kafka-05:9092
背景 由于项目需求,需要跨集群向kafka发数据,发数据程序所在集群没有配置目标kafka集群的主机名,所以只能使用目标集群的ip地址。经测试两个集群网络通信是没有问题的。但是发kafka数据程序运行一直报错,显示无法解析主机名。问题详情由于跨集群发kafka数据,程序运行所在集群和目标kafka集群属于2个不同集群。为方便描述,程序运行所在集群简称为A集群,目标ka...原创 2020-05-08 11:10:05 · 2533 阅读 · 0 评论