用户行为分析之离线数据采集

我们的数据从哪来？

互联网行业：网站、APP、系统（交互系统）。
传统行业：电信、上网、打电话、发短信等等。
数据源：网站、APP。
等等，这些用户行为都回向我们的后台发送请求各种各样的请求，和进行各种逻辑交互、交易和结账等等。

请求转发

网站/APP会发送请求到后台服务器，通常会有Nginx接受请求，然后进行转发。

后台服务器，例如Tomcat、Jetty

通常在面向大量用户和高并发（每秒请求量过万）时，都不是直接使用Tomcat来接收请求。而是使用Nginx来接收请求，并且后端介入Tomcat集群/jetty集群，来进行高并发下的负载均衡。
比如说，Nginx/Tomcat，经过适当配置之后，所有的请求数据都会以log的形式存储起来；或者接收请求的后台，也可以按照自己制定的的规范，没接收一个请求或者没执行一个逻辑，就往日志里发一条log。
到此为止，我们的后台每天就可以至少产生一份日志文件。

日志文件

日志文件（按照我们预先设定的格式）通常每天一份，当然也可以多分日志，因为有多个web服务器。
一个日志转移的工具，比如自己用Linux的crontab定时调度一个shell脚本/python脚本；或者自己用java开发一个后台服务，用quartz这样的架构进行定时调度。这个工具负责当天的所有日志的数据都采集起来，进行合并和处理等操作 ，然后整合成一份日志文件，转移到flume agent正在监控的文件夹中。

flume 监控日志文件

flume agent启动之后，可以实时的监控某个指定的文件，看是否有新的文件进来。只要发现有新的日志文件进来时，那么flume就会走后续的channel和sink。通常来说，sink都会配置为HDFS。
flume负责讲每天的日志传输到HDFS。

日志文件存储在HDFS之中

因为HDFS可以用来存储大数据。

数据清洗

HDFS中的原始日志数据会经过清洗，因为原始数据中可能很多是不符合预期的脏数据。
使用MapReduce开发自己的MR作业，可以用crontab来定时执行，也可以用Ooize或者bat京东美团自己开发的复杂、大型、分布式的调度系统，来承担全公司所有MapReduce/Hive作业的调度（对于大公司来说，可能每天除了负责数据清洗的MR作业之外，后续的建立数据仓库、进行数据的统计分析的Hive ETL可能高达上万个，上十万个，上百万等），针对HDFS中的原始日志数据清洗之后，写入HDFS的另外一个文件之中。

Hive

把HDFS清洗后的数据导入到Hive的某个表中，Hive可以使用动态分区，Hive使用分区表，每个份去放一天的数据。
Hive底层也是基于HDFS，作为一个大数据的数据仓库。数据仓库内部，再往后，其实就是一些数据仓库建模的ETL。ETL会将原始日志所在的一个表转化为几十个、几百个表，这些表就是我们的数据仓库。然后公司的统计分析人员就会根据数据仓库中的表，执行临时的或者每天定时的 Hive SQL ETL作业进行大数据的统计分析。
Spark/Hadoop/Storm，大数据平台/系统可能都会采用Hive中的数据仓库内部的表。

大数据平台/系统

我们的大数据平台/系统，其实通常来说，都会针对Hive中的数据进行开发。数据源都是来自Hive中的表，这些表都是经过大量的Hive SQL ETL以后建立起来的数据仓库，然后进行特殊的、符合业务需求的大数据平台。通过大数据平台来给公司的用户使用，来提供大数据的支持，推动公司的发展。

转载于:https://www.cnblogs.com/twodoge/p/10018195.html