Kafka学习笔记

        Kafka专为分布式高吞吐量而设计的.Kafka作为传统消息代理的替代品,Kafka具有更好的吞吐量,内置分区,复制和固有的容错能力,这使得它非常适合大规模消息处理程序.

 

什么是消息系统?

消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它.分布式消息传递基于可靠的消息队列的概念.消息客户端应用程序和消息传递系统之间异步排队.有两种消息模式可用 一种是点对点,另一种是发布-订阅(pub-sub).大多数消息模式遵循pub-sub

 

点对点消息系统

在点对点系统中，消息被保留在队列中。 一个或多个消费者可以消耗队列中的消息，但是特定消息只能由最多一个消费者消费。 一旦消费者读取队列中的消息，它就从该队列中消失。 该系统的典型示例是订单处理系统，其中每个订单将由一个订单处理器处理，但多个订单处理器也可以同时工作。 下图描述了结构。

发布 - 订阅消息系统

在发布 - 订阅系统中，消息被保留在主题中。 与点对点系统不同，消费者可以订阅一个或多个主题并使用该主题中的所有消息。 在发布 - 订阅系统中，消息生产者称为发布者，消息使用者称为订阅者。 一个现实生活的例子是Dish电视，它发布不同的渠道，如运动，电影，音乐等，任何人都可以订阅自己的频道集，并获得他们订阅的频道时可用。

 

什么是Kafka?

Apache Kafka是一个分布式发布-订阅系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点.Kafka适合离线消息和在线消息.Kafka消息保存在磁盘上,并在磁盘内复制以防止数据丢失.Kafka构建在Zookeeper同步服务之上它与Apache Storm 和Spark非常好的集成,用于实时流失数据处理分析.

好处:

• 可靠性 Kafka是分布式,分区,复制和容错的
• 可扩展性 Kafka消息传递系统轻松缩放,无需停机
• 耐用性 Kafka使用分布式提交日志,这意味着消息会尽可能地保留在磁盘上,因此它是持久的
• 性能 Kafka对于发布和订阅消息都具有高吞吐量.即使存储了许多TB的消息,它也保持稳定的性能

Kafka非常快,并保证零停机和零数据丢失.

 

 

 

 

转载于:https://my.oschina.net/u/1258870/blog/1797668