![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
月亮船长
用代码谱写完美的诗歌
展开
-
kafka发送、消费指定分区消息
前言在实际使用中,我们可能需要对某个topic下不同的消息进行分类管理,比如确保消费的顺序性,在这种场景下,我们可以首先确保生产者发送消息到指定的分区即可本文的测试基于docker搭建的一个双节点的简单集群,有兴趣搭建的同学可参考我的另一篇博客1、创建一个名为second的topic在该topic下,有3个分区,两个副本$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper zoo1:2181 --replication-factor转载 2020-09-01 16:40:41 · 11443 阅读 · 0 评论 -
Kafka 日志消息保存时间总结
Kafka 日志消息保存时间总结Kafka 作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的日志实际上是以日志的方式默认保存在/kafka-logs文件夹中的。虽然默认有7天清楚的机制,但是在数据量大,而磁盘容量不足的情况下,经常出现无法写入的情况。如何调整Kafka的一些默认参数就显得比较关键了。这里笔者整理了一些常见的配置参数供大家参考:分段策略属性属性名 含义 默认值 log.roll.{hours,ms} 日志滚动的周期时间,到达指定周期时间时转载 2020-08-30 12:02:14 · 7066 阅读 · 0 评论 -
kafka安装
环境准备kafka版本:kafka_2.11-1.0.0.tgz三台主机IP:172.16.10.91、172.16.10.92、172.16.10.93安裝配置工作1、kafka安裝 下载后解压kafka,将其解压到/usr/local目录下,删除压缩包即可:tar xzvf kafka_2.11-1.0.0.tgz #解压 进入到kafka的config目录 自定义目录:首先新建kafka的日志目录和zookeeper数据目录,因为这两...转载 2020-08-30 11:33:48 · 153 阅读 · 0 评论