Hadoop离线分析在实际项目中的架构

点击流日志数据挖掘概述

很多网站（比如电商）都会收集用户的浏览行为，然后进行分析能够实现广告推荐等功能，可以改善网站设计，提高企业利润。

数据收集

预埋一些js代码，为页面上的一些标签添加绑定事件。当事件发生时可以使用ajax请求到后台。Web服务器的日志中将会记录这些事件信息，从而获得不断增长的日志文件。

数据处理流程

一般来说离线分析都是这个流程。

各流程概述：

1. 数据采集：定制开发采集程序，或使用开源框架FLUME
2. 数据预处理：定制开发mapreduce程序运行于hadoop集群
3. 数据仓库技术：基于hadoop之上的Hive
4. 数据导出：基于hadoop的sqoop数据导入导出工具
5. 数据可视化：定制开发web程序或使用kettle等产品
6. 整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品

数据收集完成后，因为数据量非常大，后续的操作都是使用分布式程序进行处理。

典型推荐系统的架构