Kafka producer使用注意

最新推荐文章于 2024-07-09 15:00:52 发布

weixin_34238642

最新推荐文章于 2024-07-09 15:00:52 发布

阅读量745

点赞数

文章标签：大数据 python java

原文链接：https://my.oschina.net/ielts0909/blog/114579

版权

2019独角兽企业重金招聘Python工程师标准>>>

最近在测试kafka性能的时候特别对kafka的producer端进行了一些扩展，本想着针对多个业务开发多个producer进行并行的生产数据，并通过统一的线程池进行管理，结果在用jconsole进行观察的时候，发现线程数一路飙升。

本以为一个简单的发送端程序却花了不少精力。造成线程上涨的主要原因是有两个线程对象不断的被创建，并且暂时无法销毁。一个叫sendThread，另一个叫eventThread。并且由于这两类线程驻留在线程池内，也无法回收线程资源。

在google中很容易找到这两个线程的来源，zookeeper。ZkClient去连接zookeeper的server时候都会创建sendThread和eventThread两个线程，其中sendThread主要用于client与server端之间的网络连接，真正的处理线程由eventThread来执行。Zookeeper是一个分布式的协调框架，而分布式应用中经常会出现动态的增加或删除节点的操作，所以为了实时了解分布式整个节点的数量和基本信息，就有必要维护一个长连接的线程与服务端保持连接。另外zookeeper连接时占用的时间也比较长，如果每次生产数据时都连接发起一次连接势必造成了大量时间的耗费。