Flume中Source、Channel、Sink配置

Flume简介

    Flume 是Cloudera(就是CDH的那个公司) 开发的实时日志收集系统，它是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
    Flume可以根据需求接收不同的数据类型，同时将接收的数据发送到其他的具有接收能力或者处理能力的地方，如kafka，hdfs，本地文件等，比如冲一个app埋点采集过来的日志数据发送到flume中，即可将日志进行存储到hdfs或者文件然后解析离线分析，又可以(同时可以)将日志发送到kafka，然后进行实时分析；在这里Flume充当一个类似管道的作用，将接收到的数据引流到所需的地方去，本身不存储数据但是有一定的缓冲，区别于kafka消息队列，可以持久化数据；
   flume有三个重要的Source、Channel、Sink

Source

   即flume来源，是专门用来收集数据的，可以处理各种类型、各种格式的日志数据（包括avro、thrift、exec、jms、spooling directory、netcat、 generator、syslog、http、legacy、自定义），还有其他如Http等一些数据源，也可以自己重写一个类，比如自动读取数据数据库（flume-ng-sql-source ）,并将接收的数据以Flume的event格式传递给一个或者多个通道channel，。

Channel

   即管道,是接收到数据源，在sink前中间的一个连接通道，可以理解为从水塔到水龙头之间那个水管管道，本身不是存储数据，只是一个短暂临时的容器