kafka间述

在互联网中，数据量成倍增长。关于数据下面的问题：1.如何收集大量的数据，二：分析手机的数据。为了解决问题，因此需要一个消息系统。kafka专为分布式高吞吐设计。与其他消息传递系统相比，kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。

消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享数据。分布式消息传递基于可靠消息队列的概念。消息在客户端应用程序和消息传递系统之间异步排队。有两种类型的消息可用：一种是点对点，另一种是发布--订阅消息系统。大多数消息模式遵循pub-sub.

点对点消息系统：在此消息系统中，消息被保留在队列中，一个或多个消费者可以消耗队列中的消息，但是特定消息只能由最多一个消费者消费。一旦小芬这兑取队列中的消息，它就从该队列中消失。该系统的典型示例是订单处理系统。其中每个订单将由一个订单处理器处理，但多个订单处理器也可以同实工作。

发布-订阅消息系统：此系统中，消息被保留在主题中。与点对点系统不同，消费者可以订阅一个或多个主题并使用该主题中所有消息。在发布-订阅系统中，消息生产者称为发布者，消息使用者成为订阅者。DEOM:电视，发布不同的渠道，如运动，电影，music，任何人都可以订阅自己的频道集，并获得他们订阅的频道时可用。

 

下面介绍kafka

apache kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并能够将消息从一个端点传递到另一个端点。kafka适合离线和在线消息消费。kafka消息保留在磁盘上，并在群内复制以防止数据丢失。kafka构建在zookeeper同步服务上。它与Apache Storm和Spark非常好的集成，用于实时流式数据分析

优点：

可靠性：kafka是分布式，分区，复制和容错的。

可扩展性：kafka消息传递系统轻松缩放，无需停机

耐用性：kafka使用 分布式提交日志，这意味着消息会尽可能快地保留在磁盘上，因此它是持久的。

性能：kafka对于发布和订阅消息都具有高吞吐量。即使存储了许多TB的消息，它也保持稳定的性能

速度非常快，并保证0停机和0数据丢失。

用例 demo 如下：

1.指标--kafka用于操作监控数据。这涉及聚合来自分布式应用程序的统计信息，以产生操作数据的集中馈送。

2.日志聚合解决方案--kafka可用于跨组织从多个服务收集日志，并使它们以标准格式供给给多个服务器

3.流处理--流行的框架如 storm spark streaming 等 ，从主题中读取数据，对其进行处理，并将处理后的数据写入新主题，供用户和应用程序使用。kafka的强耐久性在流处理的上下文中也非常有用。

kafka是一个统一的平台，用于处理所有实时数据Fee，支持低延迟消息传递，并在出现机器故障时提供对容错的保证。它具有处理大量不同消费者能力。速度非常快，写入200万/s。kafka将所有数据保存到磁盘，这实质上意味着所有写入都会进入操作系统（RAM）的页面缓存。这使得数据从页面缓存传输到网络套接字非常有效。