Flume+Kafka+Spark Streaming打造企业大数据流处理平台（2）

Kafka大数据消息队列：

什么是kafka：

kafka是Apache下一款支持分布式的高吞吐 持久性的消息队列

kafka的特点：

1、 高吞吐
2、 持久性
3、 分布式

kafka 集群可以部署在多个服务器 支持分布式部署
kafka 每天记录由key-value 和时间戳组成

kafka的核心API：

1、生产者
2、消费者
3、连接器
4、流处理器

kafka的架构：

1、生产者: Producer：
2、消费者 :Consumer
3、broker :节点 负责创建主体TOPIC 将接收到消息保存到内存中 然后持久化到磁盘
4、Partition：分区 一个topic 在物理上被分为多个分区 可以在创建topic时指定分区数量 分区是存储数据的单元
5、ZooKeeper：协调服务 维护borker之前的关系 保障高可用

Partition分区

kafka的集群的高可用实际上是分区的高可用 各个分区都有多个副本 包括1个leader和多个folower folower同步leader的消息 而leader则负责干活，leader挂了之后 folower中随机一个提升成leader.