Flume(1)——配置和官方最简案例(NetCat Source、Logger Sink)
-
官方网址
http://flume.apache.org/FlumeUserGuide.html
-
Flume组成部分
Flume的主要组成部分就是Agent和Agent中的Source、Channel、Sink。Source、Channel、Sink都有固定类型的支持。只要配置了适当类型的组件就可以传输数据了。例如:
NetCat Source:从socket端口获取数据作为Source
Kafka Source:从Kafka获取数据作为Source
Logger Sink:将数据写入到Logger
Kafka Sink:将数据写入到Kafka
HDFS Sink:将数据写入到HDFS
-
Flume下载
http://flume.apache.org/download.html
-
Flume安装
解压到一个目录即可。
-
flume目录结构
-
(可选操作)配置环境变量
-
Flume配置
-
修改flume-env.sh.template为flume-env.sh
-
-
JAVA_HOME配置项
如果环境变量配置了JAVA_HOME,这里也可以不配置。
-
JAVA_OPTS配置项
可以通过这个参数配置设置Java内存的大小。
-
查看Flume版本
flume-ng version
-
官方示例(NetCat Source、Logger Sink)