大数据【五十七】【转】为什么需要flume以及flume的原理

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26442553/article/details/79032805

--------------------------------------------------------------------------

1.为什么要有flume?

    flume的设计宗旨是向hadoop集群批量导入基于事件的海量数据。一个典型的例子就是利用flume从一组web服务器中收集日志文件，然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中以做进一步的处理，所以flume的终点sink一般是HDFS,当然因为flume本生的灵活性，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中

 

2.flume的本质是什么？

    要想使用 flume，就需使用flume的代理（agent）,Flume的代理agent是由持续运行的source(数据源)，sink(数据目标)以及channel（用于连接source源和sink目标地的通道）构成的Java进程

    Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成。每一个agent（进程）相当于一个数据传递员，内部有三个组件：

         ①Source：采集源，用于跟数据源对接，以获取数据 

         ②Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据

         ③Channel：angent内部的数据传输通道，用于从source将数据传递到sink

     注意：.Source 到 Channel 到 Sink之间传递数据的形式是Event事件；Event事件是一个数据流单元。面对具体不同的采集源，有不同的实现类，同理sink也是，所以不需要我们编程。

3.flume实际开发中常见的采集系统结构图

  1.单个agent采集数据。

  
  2.复杂结构：多级agent之间串联
    注意，多个agent级联时：一个source可以对接多个chanel,但是一个chanel只能对接一个sink

————————————————
版权声明：本文为CSDN博主「牛大财有大才」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_26442553/article/details/79032805