某网站日志分析系统的项目架构

1、数据采集

利用js代码在页面埋点，抓取信息到web服务器。

2、从web服务器上汇集日志到hdfs（分布式文件系统），这里采取flume组件采集日志。

flume可配置高可靠的，对数据进行脱敏、过滤，数据采集可以实时的，也可以定时采集到hdfs中。

3、使用mapreduce计算框架清洗数据，处理得到点击流模型

4、使用hive创建点击流模型表，这样可以使用hql进行更多维度统计

5、利用azkaban工具进行任务调度

6、分析好的数据利用sqoop导入到mysql、hbase等数据库

7、页面展示