大数据flume的概念原理和flume与kafka的简单对比

一、flume的基本概念原理：

1、Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。

Flume组成架构：

2、Flume的组成部分：

①、Flume事件：
事件作为Flume内部数据传输的最基本单元。它是由一个转载数据的字节数组(该数据组是从数据源接入点传入，并传输给传输器，也就是HDFS/HBase)和一个可选头部构成。

②、Flume Agent：
Flume内部有一个或者多个Agent，然而对于每一个Agent来说，它就是一共独立的守护进程(JVM)，它从客户端哪儿接收收集，或者从其他的 Agent哪儿接收，然后迅速的将获取的数据传给下一个目的节点sink，或者agent.。

Agent主要由：source，channel，sink三个组件组成。

Source：
从数据发生器接收数据，并将接收的数据以Flume的event格式传递给一个或者多个通道channal，Flume提供多种数据接收的方式，比如Avro，Thrift，twit