1.简介
Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错能力。它使用简单的可扩展数据模型,允许在线分析应用程序。
2.需求
从指定网络端口采集数据到控制台
3.下载安装
如果你是centos系统通过以下命令直接下载:
wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz
下载完成之后配置全局环境变量,打开根目录下的.bash_profile文件,在里面加上Flume的bin安装目录:
export FLUME_HOME=/root/app/apache-flume-1.6.0-cdh5.7.0-bin
export PATH=$FLUME_HOME/bin:$PATH
4.配置文件的搭建
在conf目录下创建一个example.conf的文件,在里面加上以下agent配置:
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
# 绑定ip
a1.sources.r1.bind = hadoop000
# 监听端口
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
5.启动Flume
flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/example.conf -Dflume.root.logger=INFO,console
–name : 表示配置文件中agent的名字
–conf : 表示配置文件的所在目录(不包括本文件名)
–conf-file: 表示配置文件所在目录(包括本文件名)
启动成功会显示以下成功界面:
6.测试从指定端口采集数据到控制台
另外启动一个控制台通过telnet命令测试:
telnet hadoop000 44444
然后随便输入你想输出的字符:
会在监听的控制台显示你输入的字符串:
拓展:
Event: { headers:{} body: 77 6F 72 6C 64 0D world. }
Event 是flume数据传输的基本单元
Event = 可选的header + byte array
以上就完成了Flume的安装和基本使用,后面还会有复杂的更新。