![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
banana`
这个作者很懒,什么都没留下…
展开
-
日志信息收集框架--FLUME基本使用
FLUME的产生背景 对于关系型数据库和HDFS,Hive,等的数据,我们可以使用sqoop将数据进行导入导出操作,但对于一些日志信息(源端)的定时收集,这种方式显然不能给予满足,这时有人会想到使用shell脚本的定时作业调度将日志收集出来,但是这种方式在处理大的数据和可靠性方面也显现出很多缺点,再比如日志信息的存储与压缩格式,任务的监控,这些显然也不能满足。 基于以上,FLUME这个分布式,...原创 2018-06-02 22:16:20 · 884 阅读 · 0 评论 -
Flume的进阶介绍和使用(Interceptor,Selectors,Processors)
Flume的引入 关于Flume的介绍和使用,官网已经给了比较详细的介绍。本文在这里做一个总结。 Flume是Apache下的一个开源的顶级项目,它是一个分布式,可扩展,高可用,高可靠的,轻量级数据收集框架,主要用来做数据的收集,聚合,和传输,相对与传统的数据导入导出框架Sqoop,它具备多方面优势,如,简单易用,Flume只需要一个简单的配置文件即可启动;功能全面,Flume在Source,...原创 2018-08-07 17:09:07 · 2574 阅读 · 0 评论 -
Flume常用配置参数
概述 本篇文章是根据Flume官网对Flume组件(Source,Channel,Sink)的常用配置参数做一个主要介绍,如有表达意思错误希望不吝指出。 Sources Flume中常用的Source有NetCat,Avro,Exec,Spooling Directory,Taildir,也可以根据业务场景的需要自定义Source,具体介绍如下。 NetCat Source ...原创 2018-08-08 19:32:36 · 9039 阅读 · 4 评论