event是flume中数据传输的基本单元,flume作为日志采集框架,其重点在于配置文件,当数据来源不同,输出地点不同,配置文件的配置也不同。例如当从网络端口接收数据输出到控制台时候则需要配置成netcat source+memory channel+logger sink。当实时监控一个文件的新增内容时候需要配置成exec source+memory channel+logger sink。当离线处理时将收到的日志信息保存到hdfs中技术选型:exec source + memory channel + hdfs sink
flume的核心是agent,包含三个核心组件source+channnel+sink。agent是什么呢?agent是一个java进程,,运行在日志收集端,通过agent接收日志,然后暂存起来,再发送到目的地