本文详细介绍了大数据的整体处理流程，包括数据采集、预处理、入库、分析和展现。在数据采集阶段，讨论了Flume等工具的作用；预处理阶段通过MapReduce清洗和整理数据；数据入库使用Hive；数据分析利用ETL进行；最后通过数据可视化工具如Echarts展示结果。系统架构上，强调了大数据处理与传统BI的区别，以及Hadoop生态在各个阶段的应用，包括任务调度工具Azkaban的重要性。
1． 数据处理流程
网站流量日志数据分析是一个纯粹的数据分析项目，其整体流程基本上就是依据数据的处理流程进行。有以下几个大的步骤：
Ø 数据采集
数据采集概念，目前行业会有两种解释：一是数据从无到有的过程（web服务器打印的日志、自定义采集的日志等）叫做数据采集；另一方面也有把通过使用Flume等工具把数据采集到指定位置的这个过程叫做数据采集。
关于具体含义要结合语境具体分析，明白语境中具体含义即可。
Ø 数据预处理
通过mapreduce程序对采集到的原始日志数据进行预处理，比如清洗，格式整理，滤除脏数据等，并且梳理成点击流模型数据。
Ø 数据入库
将预处理之后的数据导入到HIVE仓库中相应的库和表中。
Ø 数据分析
项目的核心内容，即根据需求开发ETL分析语句，得出各种统计结果。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
