消息队列
life1024
这个作者很懒,什么都没留下…
展开
-
kafka 消息顺序性,不重复消费
顺序性比如说我们建了一个 topic,有三个 partition。生产者在写的时候,其实可以指定一个 key,比如说我们指定了某个订单 id 作为 key,那么这个订单相关的数据,一定会被分发到同一个 partition 中去,而且这个 partition 中的数据一定是有顺序的。n个消费者针对某一个topic组成一个消费者group的时候,只要某个消费者A不挂掉,则分配给这个消费者A的的partition1 不会再分配给别的消费者,也就是只有消费者A才可以消费在partition1上的topic消息原创 2020-12-09 09:51:16 · 1215 阅读 · 0 评论 -
kafka 实现原理分析,包括:名词解释,与zookeeper关系、controller选举、leader选举、消息日志文件,消息查询定位
名词解释 1.brokerKafka单个节点称为broker,一个Kafka服务就是一个broker,多个broker可以组成一个Kafka集群. 2.topic (主题)数据存储在(log.dir配置的目录下) topic相当于传统消息系统MQ中的一个队列queue,producer端发送的message必须指定是发送到哪个topic上.在一个大型的应用系统中, 可以根据功能的不同,区分不同的topic(订单的topic,登录的topic,金额的topic等等) 3.par..原创 2020-06-15 15:58:05 · 750 阅读 · 0 评论 -
zookeeper 集群 和 kafka集群 配置简述
前言使用官网下载下来的kafka.tgz包,里面包含zookeeper解压后复制三分kafka,注意目录不要太深否则会报错。也是搞笑了啊。。。。。zookeeper集群在zookeeper_data/data下创建三个目录,zk1,zk2,zk3。并分别在里面创建对应文件myid。内容分别是1,2,3。用于给zookeeper设置唯一serveId。分别创建日志目录,zk1,zk2,zk3修改 zookeeper.properties配置文件#数据存放原创 2020-06-12 18:56:16 · 1250 阅读 · 0 评论