大数据-Flume-定义、内部组成、安装部署-小记

一、定义

一个分布式、可靠、高可用的海量日志采集、聚合和传输系统
flume可收集的数据：socket数据包，文件，文件夹，kafka中的数据等
flume可将数据收集到：hdfs、hive、hbase、kafka
举例说明：扫地机器人，收快递的人，吸尘器，扫码枪

二、内部组成

source：与数据源对接，用于采集、收集数据
channel：用于数据传输（在flumeAgent内部）
sink：用户数据的发送 或数据下沉（在flumeAgent内部）

三、安装部署

将安装包上传并解压
cp flume-env.sh.template flume-env.sh
编辑flume-env.sh，配置java_home