big data
文章平均质量分 83
ty_laurel
这个作者很懒,什么都没留下…
展开
-
flume日志收集系统
flume日志收集系统概述Flume是一个分布式的、可靠的、高可用的海量日志采集系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。能够做到实时推送事件,并且可以满足数据量是持续且量级很大的情况。基本组件Flume传输的数据的基本单位是event,如果是文本文件,通常是一行记录,这也是事务的基本单位,代表着一个数据原创 2016-12-18 15:31:37 · 3243 阅读 · 0 评论 -
flume监控分析
flume 监控分析由启动flume时可以发现,flume 入口函数位于flume-ng-node目录中的Application.java文件中:Info: Sourcing environment configuration script /home/bjtianye1/apache-flume-1.7.0-bin/conf/flume-env.shInfo: Including H原创 2016-12-29 14:03:37 · 2735 阅读 · 0 评论 -
flume MemoryChannel分析
前边介绍了flume的基本概念和Source部分,接下来看看flume中的第二大组件Channel中的MemoryChannel。MemoryChannel是完全在内存中运行,速度很快,其优点同样也就成了缺点,不能持久化,若机器发生宕机或断电,数据就会丢失。在实际使用中需要根据具体的需求进行合理的选择。 先看下MemoryChannel的基本的类图,根据这个结构图可以很好的帮助理解。原创 2016-12-28 14:02:49 · 6403 阅读 · 1 评论 -
flume之hdfsSink分析
前边分析了flume的 Source 和 MemoryChannel 两个组件,接下来分析下第三个大组件 Sink。Sink组件主要用于从Channel 中拉取数据至下一个flume agent 或者目的存储对象(如HDFS)。要分析Sink,就来先看下Sink接口的定义:public interface Sink extends LifecycleAware, NamedCompon原创 2017-01-10 20:38:02 · 1873 阅读 · 0 评论 -
flume Source启动过程分析
程序入口由启动flume时可以发现,flume 入口函数位于flume-ng-node目录中的Application.java文件中:原创 2016-12-18 17:44:06 · 4063 阅读 · 0 评论 -
flume拦截器及问题解决
概述Flume 除了主要的三大组件 Source、Channel和 Sink,还有一些其他灵活的组件,如拦截器、SourceRunner运行器、Channel选择器和Sink处理器等。组件框架图今天主要来看看拦截器,先看下组件框架流程图,熟悉了大致框架流程学习起来必然会更加轻松: 接收事件根据配置选择对应的Source运行器(EventDrivenSou原创 2017-01-17 18:50:23 · 8130 阅读 · 1 评论