- 博客(4)
- 收藏
- 关注
原创 flume监控分析
flume 监控分析 由启动flume时可以发现,flume 入口函数位于flume-ng-node目录中的Application.java文件中: Info: Sourcing environment configuration script /home/bjtianye1/apache-flume-1.7.0-bin/conf/flume-env.shInfo: Including H
2016-12-29 14:03:37 2735
原创 flume MemoryChannel分析
前边介绍了flume的基本概念和Source部分,接下来看看flume中的第二大组件Channel中的MemoryChannel。MemoryChannel是完全在内存中运行,速度很快,其优点同样也就成了缺点,不能持久化,若机器发生宕机或断电,数据就会丢失。在实际使用中需要根据具体的需求进行合理的选择。 先看下MemoryChannel的基本的类图,根据这个结构图可以很好的帮助理解。
2016-12-28 14:02:49 6404 1
原创 flume Source启动过程分析
程序入口 由启动flume时可以发现,flume 入口函数位于flume-ng-node目录中的Application.java文件中:
2016-12-18 17:44:06 4063
原创 flume日志收集系统
flume日志收集系统 概述 Flume是一个分布式的、可靠的、高可用的海量日志采集系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。能够做到实时推送事件,并且可以满足数据量是持续且量级很大的情况。 基本组件 Flume传输的数据的基本单位是event,如果是文本文件,通常是一行记录,这也是事务的基本单位,代表着一个数据
2016-12-18 15:31:37 3244
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人