Flume

转载 2016年04月28日 16:01:55

Flume海量日志采集、聚合和传输的系统
不依赖hadoop,只依赖jdk
可以向外暴露地址和端口,让其他服务器将数据加密或者走内网发送到Flume上,然后再通过sink到hdfs上

Flume-Og
Flume-Og架构
Flume-Og采用了分层架构:分别为agent,collector和storage。其中,agent和collector均由两部分组成:source和sink,source是数据来源,sink是数据去向。storage是存储系统,可以是一个普通file,也可以是HDFS,HIVE,HBase,分布式存储等。
Master是管理协调agent和collector的配置等信息,是flume集群的控制器。

Flume-Ng
Flume-Ng架构

Source:完成对日志数据的收集,分成 transtion 和 event 打入到channel之中。
Channel:主要提供一个队列的功能,对source提供中的数据进行简单的缓存。
Sink:取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器。

数据采集基于多个agent

source:
spooldir 监听目录,只要目录中有新的数据,就会将目录中的数据采集
exec:会将命令的返回值给source,和tail -F 可以实时采集数据

Exec source
可通过写Unix command的方式组织数据,最常用的就是tail -F [file]。
可以实现实时传输,但在flume不运行和脚本错误时,会丢数据,也不支持断点续传功能。
Spooling Directory Source
SpoolSource:是监测配置的目录下新增的文件,并将文件中的数据读取出来,可实现准实时。需要注意:
1、拷贝到spool目录下的文件不可以再打开编辑。也就是说不能再次更改这个文件,否则会跑异常
2、spool目录下不可包含相应的子目录。在实际使用的过程中,可以结合log4j使用,使用log4j的时候,将log4j的文件分割机制设为1分钟一次,将文件拷贝到spool的监控目录。log4j有一个TimeRolling的插件,可以把log4j分割的文件到spool目录。基本实现了实时的监控。Flume在传完文件之后,将会修改文件的后缀,变为.COMPLETED(后缀也可以在配置文件中灵活指定)
3、spool在sink为hdfs的情况下,传完数据后,本地文件就会变成access_20160505_000001.log.COMPLETED,当从hdfs上转入hive后,hdfs上的数据就消失了

ExecSource,SpoolSource对比:ExecSource可以实现对日志的实时收集,但是存在Flume不运行或者指令执行出错时,将无法收集到日志数据,无法何证日志数据的完整性。SpoolSource虽然无法实现实时的收集数据,但是可以使用以分钟的方式分割文件,趋近于实时。如果应用无法实现以分钟切割日志文件的话,可以两种收集方式结合使用。

Channel有多种方式:有MemoryChannel, JDBC Channel, MemoryRecoverChannel, FileChannel。MemoryChannel可以实现高速的吞吐,但是无法保证数据的完整性。

flume 命令:
sh flume-ng 参数
global options:
–conf,-c 使用 目录下的配置
agent options:
–name,-n 这个Agent的名称(必需)
–conf-file,-f 指定一个配置文件 (如果有 -z 可以缺失)
–zkConnString,-z 指定使用的ZooKeeper的链接 (如果有 -f 可以缺失)
–zkBasePath,-p 指定agent config 在 ZooKeeper Base Path

启动
sh flume-ng agent –conf ./conf –conf-file ./conf/spool/data-log.conf –name data_agent -Dflume.root.logger=INFO,console >/letv/data/20160427.log 2>&1 &

(2>&1就是用来将标准错误2重定向到标准输出1中的。此处1前面的&就是为了让bash将1解释成标准输出而不是文件1。至于最后一个&,则是让bash在后台执行。)

配置:
/letv/data/apache-flume-1.6.0-bin/conf/spool/

data-log.conf:
sources:/letv/data/hadoop-2.6.0/logs
channels:内存
sinks:/letv/data/apache-flume-1.6.0-bin/dataconf/date.conf

resourcemanager-log.conf :
sources:/letv/data/hadoop-2.6.0/logs
channels:内存
sinks:/letv/data/apache-flume-1.6.0-bin/dataconf/resourcemanager-morphlines.conf

zkfc-log.conf:
sources:/letv/data/hadoop-2.6.0/logs
channels:内存
sinks:/letv/data/apache-flume-1.6.0-bin/dataconf/zkfc-morphlines.conf

参考:
http://www.cnblogs.com/cswuyg/p/4498804.html
http://andrewli.blog.51cto.com/7625043/1615155
http://my.oschina.net/leejun2005/blog/288136
http://www.cnblogs.com/lxf20061900/p/4012847.html
http://www.huyanping.cn/flumehive%E5%A4%84%E7%90%86%E6%97%A5%E5%BF%97/

相关文章推荐

flume监控spoolDir日志到HDFS整个流程小Demo

今天做了一个flume监控spoolDir日志到HDFS整个流程的小Demo。流程: 1.编写java代码,随机生成用户ID号码,区县号码,乡镇号码(区县和乡镇号码用随机的三位字母表示)和个人...

Flume监控目录并读取新添加的文件

官方文档: http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source      使用spoolDirectory作为...

flume-ng-sql-source-1.4.4.jar

  • 2017年11月26日 22:33
  • 8.74MB
  • 下载

数据集成:Flume和Sqoop

本文主要阐述了Flume和sqoop的功能、架构以及实际应用,中间结合了一些实际的使用例子,读起来更直白易懂,对于了解和学习数据集成的人员来说会有很大作用。...

es522_flume16_bak0827_succ_modify.zip

  • 2017年08月27日 23:04
  • 32.21MB
  • 下载

mvn flume ng sdk

  • 2017年09月28日 21:43
  • 6.4MB
  • 下载

源码分析Flume启动过程

对Flume-NG的agent启动过程进行详细的分析。
  • yeruby
  • yeruby
  • 2016年04月16日 14:04
  • 794

flume+kafka配置说明

  • 2017年08月19日 15:52
  • 4KB
  • 下载

es551+flume1.6

  • 2017年08月22日 21:56
  • 47.95MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Flume
举报原因:
原因补充:

(最多只允许输入30个字)