flume
程序员Monkey
努力做好自己!!
展开
-
flume入门及在windows环境中启动运行
最近公司项目需求,要研究flume技术,近段时间研究了一下,给它来做个小小滴总结!一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件原创 2017-06-30 08:56:02 · 3633 阅读 · 0 评论 -
flume自定义sink
用户不仅可以自定义flume的source,还可以自定义flume的sink,用户自定义sink在flume中只需要继承一个基类:AbstractSink,然后实现其中的方法就可以了,例如我现在的需求是只要用户使用我自定义的sink,那么它需要提供一个文件名称,该名称如果有具体路径的话,需要填写路径的全名称,实现的功能就是将数据保存到该文件名称中,因为用户是基于配置的,所以无须理会source的来原创 2017-07-12 17:31:05 · 7743 阅读 · 0 评论 -
flume架构与核心组件源代码分析
首先所有核心组件都会实现org.apache.flume.lifecycle.LifecycleAware接口:public interface LifecycleAware { public void start(); public void stop(); public LifecycleState getLifecycleState();}start方法在整个Flu转载 2017-07-03 14:24:15 · 1368 阅读 · 0 评论 -
flume自定义source
我们了解到了flume的底层实现原理之后,我们不仅可以根据flume自身提供的API,实现Source的定义,还可以根据项目的实际需求,编写我们自己的Source,比如Source可以是从网络上下载一个文件,亦或者是从数据库中查询数据,总之都能灵活实现我们自己的需求!一、新建java工程项目,在项目中添加flume的核心jar包:flume-ng-configuration-1.7.0.j原创 2017-07-03 17:01:41 · 7940 阅读 · 0 评论 -
解决TailerdirSource读取rotate文件无法重命名问题
系统中有一个新的需求,通过flume的TaildirSource去读取rotate文件数据,所谓的rotate文件就是指文件中的数据在达到我们指定大小的时候,系统会自动重命名将历史记录文件备份为一个新的文件,例如指定log文件大小为1M,系统在log文件中不断生成日志信息,如果该文件达到1M,那么系统就会产生log.1、log.2这样的历史文件;通过配合使用flume的TaildirSource去原创 2017-12-12 16:48:37 · 2063 阅读 · 0 评论