日志实时分析统计平台一 ----- 简介

业务背景：

根据公司的业务需要，所以本人负责搭建一个日志的试试分析统计平台，根据日志统计一些数据，然后展现在页面上，方便运营人员来分析运营方式，和产出各种报表，用于汇报。

所以根据需要，本人和领导共同决定使用当前很火的大数据的框架来进行这项工作，本人会将工作过程中遇到的问题等进行记录，也是对自己成长的积累。

打算搭建的架构和用到的技术：

图中所展示的，是个人在网上调研后，决定使用的方式。

data collectoin :  这里使用flume，将日志log文件导入，然后通过选择kafka类型的导出渠道，以流的方式导出到kafka中

data access  : kafka通过消费者来接收数据，然后将日志数据导出给  storm 来进行实时计算

stream computing: 使用storm来根据业务需求实时处理分析日志数据

data output : 通过storm的接口来将格式化好的数据导出到hfds中或者mysql中进行存储

以后的文章记录，将会按照顺序来记录本人搭建日志实时统计平台的过程