flume基础介绍

一、什么是flume

        flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统

        flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接收方的能力。

二、flume原理三、flume agent

         Agent由Source、Channel和Sink组成。
        Flume内部有一个或者多个Agent

        Agent中可以包含多个Source和Sink。

        Agent是一共独立的守护进程(JVM) 无备注。  

四、flume agent——source

        source负责数据的产生或收集，一般是对接RPC的程序或者是其他的flume节点的sink

        source接受数据，并将接受的数据以flume的event格式传递给channel

source类型

 

五、sink

Sink从Channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、 hadoop存数