【每天进步一点点】【Flume】Flume 基本介绍

1.Flume 基本概念介绍

• Agent :每一个flume进程称作一个agent
• source : flume 进程中的入口组件 主要用于接收数据，可以从端口、文件等接收数据 常见的source 类别有 avro 、exec、spooling、taildir
• channel : flume进程中用于中间缓存数据的组件 接收source中的消息，存放在本地内存或磁盘中 常见的channal 类别有 memory、file
• sink: flume进程中出口组件，主要用户将最终的数据写到对应类别的目的端 常见的sink 类别有 avro、hdfs、kafka、logger
• event: flume 进程中消息的的基本单位，可以理解成一个消息就是一个event event主要包含两部分 head、body