flume源码阅读之总体介绍
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
Flume官网地址: Flume ,
源代码地址:source
为什么读flume源代码
- 为什么要去读flume的源码,最近公司的项目中准备加上监控,准备的做法是基于日志来分析整个系统的运行状态,那么基于日志去分析,首先要做的就是将散落在各个业务系统中日志收集起来。
笔者一直好奇这些日志收集框架是怎么做到将日志聚合在一起,于是乎百度了一下,发现Flume这个玩意。 就这样带着好奇心,开始了源代码阅读之路
之前也断断续续的读过一些源码,但是什么也没有留下,等会过头再看,感觉什么又都忘了,因此下定决心把看到的一些东西记录下来
在阅读Flume的过程中,发现Flume的整体架构还是非常清晰的,比较容易理解
怎样阅读源码
对于怎样去读源码,仁者见仁,智者见智&