![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
夏殿灬青葛石
雨天不忘奔跑。
展开
-
Kafka提高生产者吞吐量
• batch.size:批次大小,默认16k延迟为0时不生效等待时间到前生产数据累积了16k直接拉走等待时间到了生产数据没满16k也直接拉走• linger.ms:等待时间,修改为5-100ms以延迟代价换取效率• compression.type:压缩snappy• RecordAccumulator:缓冲区大小,修改为64m。原创 2022-11-18 18:11:42 · 629 阅读 · 0 评论 -
Kafka分区策略
1. 实现接口 Partitioner 2. 实现 3 个方法:partition,close,configure 3. 编写 partition 方法,返回分区号原创 2022-11-18 10:28:37 · 851 阅读 · 0 评论 -
带回调函数的异步发送
在 IDEA 中执行代码,观察控制台中是否接收到消息。先添加一下first主题的分区数。r然后开启 Kafka 消费者。原创 2022-11-17 17:54:04 · 334 阅读 · 0 评论 -
创建 Kafka 生产者,采用异步的方式发送到 Kafka Broker
在kafka目录下创建过first这个topic(主题)在 IDEA 中执行代码,观察控制台中是否接收到消息。–replication-factor 定义副本数。–topic 定义 topic 名。–partitions 定义分区数。原创 2022-11-17 16:49:48 · 320 阅读 · 0 评论 -
kafka集群安装部署
分别修改其他机器上的配置文件/opt/module/kafka/config/server.properties。第三个地方,配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)进入到/opt/module/kafka 目录,修改配置文件。首先是broker.id ,全局唯一,不能重复,只能是数字。注:broker.id 不得重复,整个集群中唯一。把安装包拖进 /opt/software/目录。分发环境变量文件到其他节点,并 source。原创 2022-11-10 12:06:04 · 345 阅读 · 0 评论