Kafka简介（一）

一、简介

1.1 介绍

     Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。

     Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。

特性：

    1.通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

    2.高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。

    3.支持通过Kafka服务器和消费机集群来分区消息。

    4.支持Hadoop并行数据加载。

 

1.2 优点

    1）持续的消息：为了从大数据中派生出有用的数据，任何数据的丢失都会影响生成的结果，kafka提供了一个复杂度为O(1)的磁盘结构存储数据，即使是对于TB级别的数据都是提供了一个常量时间性能。

    2）高吞吐量：keep big data in mind，kafka采用普通的硬件支持每秒百万级别的吞吐量

    3）分布式：明确支持消息的分区，通过kafka服务器和消费者机器的集群分布式消费，维持每一个分区是有序的。

    4）支持多种语言：java、.net、php、ruby、python。

    5）实时性：消息被生成者线程生产就能马上被消费者线程消费，这种特性和事件驱动的系统是相似的。

 

1.3 使用场景

    1）用户的行为数据

    2）应用工程的性能数据

    3）日志的用户活动数据等

 

二、通信方式

 

2.1 名词解释【重要】

 

Producer：生产者，用于将流数据发送到kafka消息队列上，它的任务是向Broker发送数据。

 

 

Customer：消费者，与其它消息中间件不同，它主