![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mq
jwolf2
华山论剑
展开
-
docker/docker-compose kafka单机部署案例
1、docker-compose kafka单机版本version: "3"services: zookeeper: image: 'bitnami/zookeeper:latest' container_name: zookeeper restart: always networks: - kafka_net ports: - '2181:2181' environment: - ALLOW_ANONYM...原创 2021-01-18 13:54:18 · 2730 阅读 · 0 评论 -
kafka——消费机制
结论:1、一个消息只能被同一个消费组的某个消费者消费,消费后不删除消息只是自己消费消息的offset+1,并不会删除消息,可能消息还要被其它消费组消费,可配置清除默认7天或基于大小来清除老消息。2、可以手动指定那些partition由组内哪个消费者消费,不指定会首次某个消费者消费某个partition后不再改变,如果消费者offline或online会进行Rebalance力求负载均衡。...原创 2019-04-22 18:15:03 · 2541 阅读 · 0 评论 -
kafka——生产者与消费者细化配置
1、生产者详细配置#kafka-producer配置,官网=>https://kafka.apache.org/documentation/#producerconfigs#集群地址spring.kafka.producer.bootstrap-servers=192.168.199.128:9092,192.168.199.128:9093,192.168.199.128:9...原创 2019-04-22 15:53:24 · 1221 阅读 · 0 评论 -
kafka-springcloud stream与kafkaTemplate的消息系列化与反序列
1、基本依赖(springboot 2.1.0) <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depe...原创 2019-04-24 16:24:22 · 4461 阅读 · 1 评论 -
kafka——原理总结
1、kafka架构图——生产者推模式,消费者拉模式2、分区副本机制分区机制——高性能,一个topic分多个partition,发消息可以根据消息的key或轮询均匀写到不同broker的分区,消费时也可以指定要消费的partition;副本机制——高可用,partition的副本(如图虚线)跟自己一般不再同一个broker,类似ES,但是ES是副本与主分片绝不能在同一个节点,宁愿无法分配...原创 2019-04-24 19:42:34 · 419 阅读 · 0 评论 -
kafka——基于KafkaTemplate的多个重载方法分析kafka信息分区路由策略
1、依赖和配置(基于springboot2.1.0) <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dep...原创 2019-04-20 14:57:03 · 5913 阅读 · 1 评论 -
kafka——基于kafka-manager验证分片副本机制,partition选主机制,故障恢复
kafka-manager(kafka eagle也不错),覆盖了kafka bin目录的大多数命令,可以可视化创建删除topic,查看topic列表,prefferred Replica Election 选举,partition重分配(重新分区后),消费者查询等。 下载链接:http://pan.baidu.com/s/1qY8sGoO密码: ye7b 下载传到Linux解压,修...原创 2019-04-25 21:03:12 · 2430 阅读 · 0 评论