kafka和flume基本原理的比较

kafka的基本原理

Kafka的架构：分布式消息系统，默认将消息存入磁盘，存储时间是7天。

Producer：消息的生产者，自己决定消息写往哪个partition，两种：1.hash，2.轮询

Broker：组建kafka集群的节点，broker之间没有主从关系，broker由zookeeper来协调，broker负责消息的读写，存储。每个broker可以管理多个partition。

Topic：一类消息的总称/消息队列/分类,由partition组成，有多少，创建可以指定

Partition：实际存储数据的地方，每个partition有副本，有多少？创建topic时可以指定，partition是直接接触磁盘，append追加消息，每个partition都有一个broker来管理。这个broker叫做这个partition的leader

Consumer：消息的消费者。每个consumer都有自己的消费者组。组与组之间消费同一个topic时，互不影响。同一个消费者组内的消费者同一个topic时，这个topic中同一条数据只能被消费一次。Consumer自己通过zookeeper来维护消费者的offset

Zookeeper：协调数据，存储元数据，broker，partition等

---------------------------------------------------------------------------------------------------------------------------------------------------------------------

flume的基本原理

一.Flume架构介绍

本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍：

 flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比如说送到图中的HDFS，简单来说flume就是收集日志的。

二.Event数据流向图

flume的核心是把数据从数据源(source)收集过来，在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。 
在整个数据的传输的过程中，流动的是event，即事务保证是在event级别进行的。那么什么是event呢？—–event将传输的数据进行封装，是flume传输数据的基本单位，如果是文本文件，通常是一行记录，event也是事务的基本单位。event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息。event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去。 

一个完整的event包括：event headers、event body、event信息(即文本文件中的单行记录。

flume架构介绍 
flum