李昊轩的博客

有些场景下 我们需要广播消息, kafka在partition上的每条消息, 便宜想是按照group为单位做副本的, 所以针对每条消息, 每组groupId对应的消费者都会分别消费一次, 这也是我们通过动态groupId来实现 多副本jar的广播消费的原理

vi server.properties调整 过期时间log.retention.hours=24开启日志清理log.cleaner.enable=ture

相同消费者组内, 消费者数 > partition如上图，向test发送消息：1，2， 3，4，5，6，7，8，9只有C1能接收到消息，C2则不能接收到消息，即同一个partition内的消息只能被同一个组中的一个consumer消费。当消费者数量多于partition的数量时，多余的消费者空闲。也就是说如果只有一个partition你在同一组启动多少个consumer都没用，partition的数量决定了此topic在同一组中被可被均衡的程度，例如partition=4，则可在同一组中被最多

像kafka这种高并发构架中核心中的核心, 单机性能肯定是存在局限的, 磁盘写入速度就是kafka处理速度的极限，那么topic肯定是要实现, 跨多个物理机, 并发发布/消费的, 如何实现, partition分区, 实现同一个topic跨多个物理机存储, 类似hdfs, 处理不过来就加机器。每台机器持有不同的partition。生产者爱发哪台发哪台，实现高性能+高可用。...