flume介绍

event是flume中数据传输的基本单元，flume作为日志采集框架，其重点在于配置文件，当数据来源不同，输出地点不同，配置文件的配置也不同。例如当从网络端口接收数据输出到控制台时候则需要配置成netcat source+memory channel+logger sink。当实时监控一个文件的新增内容时候需要配置成exec source+memory channel+logger sink。当离线处理时将收到的日志信息保存到hdfs中技术选型：exec source + memory channel + hdfs sink
flume的核心是agent，包含三个核心组件source+channnel+sink。agent是什么呢？agent是一个java进程，，运行在日志收集端，通过agent接收日志，然后暂存起来，再发送到目的地