![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
Suntoma
全栈架构师的成长采坑之路。
展开
-
kafka权威指南阅读笔记(一)
1.如何为主题选定分区数量:为主题选定分区数量并不是 一 件可有可无的事情,在进行数量选择时,需要考虑如下几个因素。· 主题需要达到多大的吞吐量?例如,是希望每秒钟写入 100KB 还是!1GB? . 从单个分区读取数据的最大吞吐量是多少?每个分区 一般都会有一个消费 者,如果你知道消费者将数据写入数据库的速度不会超过每秒 50MB,那么你也该知道,从一个分区读取数据的吞吐量不需要超过每秒 50M...原创 2018-05-23 16:37:28 · 539 阅读 · 0 评论 -
kafka权威指南阅读笔记(二)
1.kafka生产者组件图我们从创建 一 个 ProducerRecord 对象开始, ProducerRecord 对象需要包含目标主题和要发 送的内容。我们还可以指定键或分区。在发送 ProducerRecord对象时,生产者要先把键和 值对象序列化成字节数组,这样它们才 能够在网络上传输 。接下来,数据被传给分区器。如果之前在 Produc巳rR巳cord对象里指定了分区,那么分区器 就不会...原创 2018-05-24 16:29:56 · 383 阅读 · 0 评论 -
KAFKA随机产生JMX 端口指定的问题
由于测试环境的kafka集群是在私有云的资源池上开的三台虚拟机,而且很多端口都没有开发,所以在搭建kafka服务的时候需要指定开放哪些端口,zk用的是kafka自带的zk启动的,我们在正常开放了2181、9092以及我们指定了JMX_PORT的9999三个端口外,发现远程监控程序无法连接kafka的JMX进行监控,于是我们看了一下kafka占用的端口:ss -ltnp | grep ${kaf...原创 2018-08-30 10:55:04 · 4383 阅读 · 0 评论