flume采集mysql日志_日志采集分析: flume+kafka+storm+mysql架构设计

http://blog.csdn.net/mylittlered/article/details/20810265

架构图

数据流向图

(是visio画的，图太大，放上来字看起来比较小，如果有需要的朋友留邮箱)

实时日志分析系统架构简介

系统主要分为四部分：

1).数据采集

负责从各节点上实时采集数据，选用cloudera的flume来实现

2).数据接入

由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka

3).流式计算

对采集到的数据进行实时分析，选用apache的storm

4).数据输出

对分析后的结果持久化&#x