电商用户行为分析大数据平台相关系列8-数据分析流程

1、离线数据（日志）分析流程

离线数据分析是一种非实时数据分析，主要是分析日志、用户操作历史或者对已有历史数据分析。本文将以最常见的日志分析作为介绍，其他类似，只是数据收集方式可能不一样。

1.1、数据来源

数据来源主要依赖于分析系统服务于哪些业务。如，需要分析用户购物习惯或者分析各个区域热销商品，则需要依赖于购物网站的操作日志或者销售日志。而如果是分析各个地区某一时段通话、上网高峰，则数据来源则是运营商监控系统等。
一般情况，数据来源分为一下两类：
- 互联网行业：网站、app、交易系统等
- 传统行业：电信、上网、电话、发短信等

无论是传统行业还是互联网行业，我们执行的每一个动作，网站（app）都会与后台服务器进行交互，短信、电话等也会与运营商基站、服务器进行交互。所以，我们就可以在服务器端完成日志记录。

后台服务器分类（传统bs或者cs服务，包括app）：
- 非集群等小型项目：Tomcat、Jetty等通过配置可以将log记录到指定目录。也可以在操作业务中实现日志记录功能。
- 集群等高并发应用：Nginx，apache等，一般是通过Nginx等配置记录session等日志。当然最终服务也是具体的tomcat等，也可以在tomcat以及业务中记录日志。

1.2、日志整理、收集

服务器将日志写到固定目录中，可能是一个也可能是多个文件，而且对于集群一般都是多态服务器，所以需要将多份日志进行整理。我们可以通过一个日志转移工具以及一个定时任务完成整理合并。该步骤主要是将当天