在hadoop的工作流程中,前期的数据采集是很重要的一步,flume在数据采集中的作用显然也是相当重要的.
数据来源:
日志来源于apache/Nginx 应用服务器的日志 --> HDFS Flume+kafka ---> Storm /Spark Streaming
框架配置:
Agent --> 每台应用服务器日志的机器 运行一个agent
source/channel/sink
source 应用服务器的日志目录或文件,数据源
channel source主动将数据pash到管道中,内存和磁盘安全性,可靠性,借助管道写到本地磁盘
sink: 写到HDFS
Event是数据传输的基本单元
Flume以事件的形式将数据从源头传送到最终目的地
Event由可选的header和载有数据的一个byte array构成
载有的数据flume是不透明的
Header是容纳了key-value字符串对的无序集合,key在集合内是唯一的。
Header可以在上下文路由中使用扩展
企业中应用时,日志按日期生成,可以将服务器的时间放到头里,数据真正放到byte array中
flume框架特点:
复杂流动性
Flume允许用户进行多级流动到最终目的地,也允许扇出流(一到多)、扇入流(多到一)的、故障转移和失败处理。fan-in fan-out
可靠性
事务性的数据传递,保证了数据的可靠性。
可恢复性
通道可以以内存或文件的方式实现,内存更快,但是不可恢复,而文件虽然比较慢但提供了可恢复性。
Flume的安装和部署
1).首先在官网下载解压安装
$ tar -zxf flume-ng-1.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/
2).配置${FLUME_HOME}/conf/
$ cp flume-env.sh.template flume-env.sh
修改flume-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
3).拷贝HDFS依赖及配置的jar包到${FLUME_HOME}/lib(保证flume能够稳定的运行)
${HADOOP_HOME}/
$ cp share/hadoop/common/hadoop-common-2.5.0-cdh5.3.6.jar share/hadoop/common/lib/commons-configuration-1.6.jar share/hadoop/common/lib/hadoop-auth-2.5.0-cdh5.3.6.jar share/hadoop/hdfs/hadoop-hdfs-2.5.0-cdh5.3.6.jar /opt/modules/cdh/flume-1.5.0-cdh5.3.6/lib/
4).拷贝HDFS相关的配置文件到flume的conf
${HADOOP_HOME}/etc/hadoop --> ${FLUME_HOME}/conf
$ cp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml /opt/modules/cdh/flume-1.5.0-cdh5.3.6/conf/
[测试案例]:需求:telnet(通过telnet交互显示信息)
1.生成agent模板
$ cp flume-conf.properties.template flume-conf.properties
$ cp flume-conf.properties a1.conf
2.编辑agent配置文件(source channel sink)
//配置a1.Agent的 sources /sinks /channels 名称
//a1指的是Agent的name,需要与启动agent的--name相对应
a1.sources = r1 #当前agent的sources名称
a1.sinks = k1 #当前agent的sinks名称
a1.channels = c1 #当前agent的channels名称
// 配置sources的来源
a1.sources.r1.type = netcat #sources的类型
a1.sources.r1.bind = bigdata.ibeifeng.com #绑定的主机
a1.sources.r1.port = 44444 #监听的端口
//配置sink的输出格式
a1.sinks.k1.type = logger #输出到日志
//配置channels的属性
# Use a channel which buffers events in memory
a1.channels.c1.type = memory #缓冲到内存中
a1.channels.c1.capacity = 1000 #存储到channels中的events的最大数据
a1.channels.c1.transactionCapacity = 100 数量##每次event在chnnel传输的最大的
//将对应的source和sink绑定到channel
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
3.yum 安装 telnet
# yum -y install telnet
4.启动agent ${FLUME_HOME}/
$ bin/flume-ng agent --conf conf --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console
--conf 指定配置文件所在目录
--name 指定agent的名称,与a1.conf文件指定的一致
--conf-file 指定agent配置文件名称
-Dflume.root.logger=INFO,console 日志输出到console
Event: { headers:{} body: 48 65 6C 6C 6F 20 77 6F 72 6C 64 21 0D Hello world!. }
5.启动telnet
$ telnet {hostname} 44444
【退出telnet】
Ctrl+]
telnet>quit
Connection closed.
6.停止agent
${FLUME_HOME}
Ctrl+c 退出flume agent同时也就退出了telnet