写博客只为学习

[size=large][b]1.Kafka基础概念[/b][/size][size=medium][b]1.1 出世背景[/b][/size]Kafka是一个消息系统，是LinkedIn公司开发并开源出来的组件。Kafka原本用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。[color=red][b]现在它已被多家公司作为多...

-topic test[/code][size=medium][color=red][b]查询集群描述[/b][/color][/size][code="command"]bin/kafka-topics.sh --describe --zookeeper [/code][size=medium][color=red][b]生产者[/b][/color][/size][code="command"]bin/kafka-console-produ

ium][b]点对点：[/b][/size]消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：[b]* 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。[/b][color=blue][b]* queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。[/b][/color][size=medium][b]发布/订阅：[/b][/size]消息生产者（发布）将消息发布到topic中，同

Topic中的所有数据分布式的[color=red][b]存储在kafka集群的所有机器(broker)上，[/b][/color]以分区(partition)的的形式进行数据存储；每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区)。[color=blue][b]每个数据分区在Kafka集群中存在一个broker节点上的分区叫做leader，存储在其它...

[size=large][color=red][b]Kafka的Leader是什么[/b][/color][/size]首先Kafka会将接收到的消息分区（partition），[b]每个主题（topic）的消息有不同的分区。[/b]这样一方面消息的存储就不会受到单一服务器存储空间大小的限制，另一方面消息的处理也可以在多个服务器上并行。其次为了保证高可用，[color=red][b]每个分...

[color=red][size=medium][b]创建主题（4个分区，2个副本）[/b][/size][/color][code="command"]bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test[/code][siz...

[size=medium][color=red][b]apache kafka参考[/b][/color][/size][url]http://kafka.apache.org/documentation.html[/url][size=large][color=red][b]消息队列分类：[/b][/color][/size][size=medium][b]点对点：[/b][/s...

备份分区(存储在同一kafka集群的其它broker上的分区)。[color=blue][b]每个数据分区在Kafka集群中存在一个broker节点上的分区叫做leader，存储在其它broker上的备份分区叫做followers；[/b][/color]只有leader节点负责该分区的数据读写操作，followers节点作为leader节点的热备节点，从leader节点备份数据；当leader节点挂掉的时候，followers节点中会有一个节点变成leader节点，重新提供服务Kafka集