网站点击流数据分析项目----之现学现卖

最新推荐文章于 2024-06-05 19:16:26 发布

小段大帅

最新推荐文章于 2024-06-05 19:16:26 发布

阅读量500

点赞数

本文链接：https://blog.csdn.net/u011652364/article/details/89348170

版权

网站点击流数据分析项目----之现学现卖

1：网站点击流数据分析项目推荐书籍：

可以看看百度如何实现这个功能的：https://tongji.baidu.com/web/welcome/login

1 网站点击流数据分析，业务知识，推荐书籍：
2 《网站分析实战——如何以数据驱动决策，提升网站价值》王彦平，吴盛锋编著 http://download.csdn.net/download/biexiansheng/10160197

2：整体技术流程及架构：

2.1 数据处理流程
   该项目是一个纯粹的数据分析项目，其整体流程基本上就是依据数据的处理流程进行，依此有以下几个大的步骤：
　　（1）：数据采集
   　　　　首先，通过页面嵌入JS代码的方式获取用户访问行为，并发送到web服务的后台记录日志(假设已经获取到数据)；然后，将各服务器上生成的点击流日志通过实时或批量的方式汇聚到HDFS文件系统中，当然，一个综合分析系统，数据源可能不仅包含点击流数据，还有数据库中的业务数据（如用户信息、商品信息、订单信息等）及对分析有益的外部数据。
　　（2）：数据预处理
   　　　　通过mapreduce程序对采集到的点击流数据进行预处理，比如清洗，格式整理，滤除脏数据等；形成明细表，即宽表，多个表，以空间换时间。
　　（3）：数据入库
   　　　　将预处理之后的数据导入到HIVE仓库中相应的库和表中；
　　（4）：数据分析
   　　　　项目的核心内容，即根据需求开发ETL分析语句，得出各种统计结果；
　　（5）：数据展现
   　　　　将分析所得数据进行可视化；

2.2 项目结构：
由于本项目是一个纯粹数据分析项目，其整体结构亦跟分析流程匹配，并没有特别复杂的结构，如下图：

其中，需要强调的是：
系统的数据分析不是一次性的，而是按照一定的时间频率反复计算，因而整个处理链条中的各个环节需要按照一定的先后依赖关系紧密衔接，即涉及到大量任务单元的管理调度，所以，项目中需要添加一个任务调度模块

2.3 数据展现
　　数据展现的目的是将分析所得的数据进行可视化，以便运营决策人员能更方便地获取数据，更快更简单地理解数据；

3：模块开发——数据采集
　　3.1 需求
　　　　数据采集的需求广义上来说分为两大部分。
　　　　1）是在页面采集用户的访问行为，具体开发工作：
　　　　　　a、开发页面埋点js，采集用户访问行为
　　　　　　b、后台接受页面js请求记录日志，此部分工作也可以归属为“数据源”，其开发工作通常由web开发团队负责
　　　　2）是从web服务器上汇聚日志到HDFS，是数据分析系统的数据采集，此部分工作由数据分析平台建设团队负责，具体的技术实现有很多方式：
　　　　Shell脚本
　　　　　　优点：轻量级，开发简单
　　　　　　缺点：对日志采集过程中的容错处理不便控制
　　　　Java采集程序
　　　　　　优点：可对采集过程实现精细控制
　　　　　　缺点：开发工作量大
　　　　Flume日志采集框架
　　　　　　成熟的开源日志采集系统，且本身就是hadoop生态体系中的一员，与hadoop体系中的各种框架组件具有天生的亲和力，可扩展性强
　　3.2 技术选型
　　　　在点击流日志分析这种场景中，对数据采集部分的可靠性、容错能力要求通常不会非常严苛，因此使用通用的flume日志采集框架完全可以满足需求。
　　　　本项目即使用flume来实现日志采集。

　　3.3 Flume日志采集系统搭建
　　　　a、数据源信息
　　　　　　本项目分析的数据用nginx服务器所生成的流量日志，存放在各台nginx服务器上，省略。
　　　　b、数据内容样例
　　　　　　数据的具体内容在采集阶段其实不用太关心。

 1 字段解析：
 2 1、访客ip地址：   58.215.204.118
 3 2、访客用户信息：  - -
 4 3、请求时间：[18/Sep/2013:06:51:35 +0000]
 5 4、请求方式：GET
 6 5、请求的url：/wp-includes/js/jquery/jquery.js?ver=1.10.2
 7 6、请求所用协议：HTTP/1.1
 8 7、响应码：304
 9 8、返回的数据流量：0
10 9、访客的来源url：http://blog.fens.me/nodejs-socketio-chat/
11 10、访客所用浏览器：Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0

开始实际操作，现学现卖，使用flume采集数据如下所示：

由于是直接使用现成的数据，所以省略获取原始数据的操作：

《默认hadoop,fLume,hive,azkaban,mysql等工具全部安装完成，配置完成，必须的都配置完成》
第一步：假设已经获取到数据，这里使用已经获取到的数据，如果你学习过此套课程，知道此数据文件名称为access.log.fensi，这里修改为access.log文件名称；

第二步：获取到数据以后就可以使用Flume日志采集系统采集数据。

第三步：采集规则配置详情，如下所示
fLume的文件名称如：tail-hdfs.conf

用tail命令获取数据，下沉到hdfs,将数据存放到hdfs上面.
启动命令：
bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1
########

# Name the components on this agent
# 定义这个agent中各组件的名字，给那三个组件sources，sinks，channels取个名字,是一个逻辑代号:
# a1是agent的代表。
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source 描述和配置source组件：r1
类型, 从网络端口接收数据,在本机启动, 所以localhost, type=exec采集目录源,目录里有就采
# exec用来执行要执行的命令
a1.sources.r1.type = exec 
# -F根据文件名称来追踪,采集文件的路径及其文件名称.
a1.sources.r1.command = tail -F /home/hadoop/log/test.log 
a1.sources.r1.channels = c1

# Describe the sink 描述和配置sink组件：k1
# type，下沉类型，使用hdfs，将数据下沉到hdfs分布式文件系统里面。
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
# 下沉的路径，flume会进行格式的替换.
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/
# 文件的前缀
a1.sinks.k1.hdfs.filePrefix = events-
# 10分钟修改一个新的目录.
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
# 3秒种滚动一次.可以方便查看效果,文件滚动周期默认30秒
a1.sinks.k1.hdfs.rollInterval = 3
# 文件滚动的大小限制,500字节滚动一次.
a1.sinks.k1.hdfs.rollSize = 500
# 多少个事件,写入多少个event数据后滚动文件即事件个数.
a1.sinks.k1.hdfs.rollCount = 20
# 多少个事件写一次
a1.sinks.k1.hdfs.batchSize = 5
# 是否从本地获取时间useLocalTimeStamp
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream



# Use a channel which buffers events in memory
# 描述和配置channel组件，此处使用是内存缓存的方式
# type类型是内存memory。
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
# 描述和配置source  channel   sink之间的连接关系
# 将sources和sinks绑定到channel上面。
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

具体操作如下所示：

1 [root@master soft]# cd flume/conf/
2 [root@master conf]# ls
3 flume-conf.properties.template  flume-env.ps1.template  flume-env.sh  flume-env.sh.template  log4j.properties
4 [root@master conf]# vim tail-hdfs.conf

内容如下所示：

 1 # Name the components on this agent
 2 a1.sources = r1
 3 a1.sinks = k1
 4 a1.channels = c1
 5 
 6 # Describe/configure the source 
 7 a1.sources.r1.type = exec 
 8 a1.sources.r1.command = tail -F /home/hadoop/data_hadoop/access.log
 9 a1.sources.r1.channels = c1
10 
11 # Describe the sink 
12 a1.sinks.k1.type = hdfs
13 a1.sinks.k1.channel = c1
14 a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/
15 a1.sinks.k1.hdfs.filePrefix = events-
16 a1.sinks.k1.hdfs.round = true
17 a1.sinks.k1.hdfs.roundValue = 10
18 a1.sinks.k1.hdfs.roundUnit = minute
19 a1.sinks.k1.hdfs.rollInterval = 3
20 a1.sinks.k1.hdfs.rollSize = 500
21 a1.sinks.k1.hdfs.rollCount = 20
22 a1.sinks.k1.hdfs.batchSize = 5
23 a1.sinks.k1.hdfs.useLocalTimeStamp = true
24 a1.sinks.k1.hdfs.fileType = DataStream
25 
26 
27 
28 # Use a channel which buffers events in memory
29 a1.channels.c1.type = memory
30 a1.channels.c1.capacity = 1000
31 a1.channels.c1.transactionCapacity = 100
32 
33 # Bind the source and sink to the channel
34 a1.sources.r1.channels = c1
35 a1.sinks.k1.channel = c1

然后启动你的hdfs，yarn可以不启动，这里都启动起来了：

[root@master hadoop]# start-dfs.sh

[root@master hadoop]# start-yarn.sh

启动起来以后，可以查看一下hdfs是否正常工作，如下所示：

[root@master hadoop]# hdfs dfsadmin -report

 1 Configured Capacity: 56104357888 (52.25 GB)
 2 Present Capacity: 39446368256 (36.74 GB)
 3 DFS Remaining: 39438364672 (36.73 GB)
 4 DFS Used: 8003584 (7.63 MB)
 5 DFS Used%: 0.02%
 6 Under replicated blocks: 0
 7 Blocks with corrupt replicas: 0
 8 Missing blocks: 0
 9 
10 -------------------------------------------------
11 Live datanodes (3):
12 
13 Name: 192.168.199.130:50010 (master)
14 Hostname: master
15 Decommission Status : Normal
16 Configured Capacity: 18611974144 (17.33 GB)
17 DFS Used: 3084288 (2.94 MB)
18 Non DFS Used: 7680802816 (7.15 GB)
19 DFS Remaining: 10928087040 (10.18 GB)
20 DFS Used%: 0.02%
21 DFS Remaining%: 58.72%
22 Configured Cache Capacity: 0 (0 B)
23 Cache Used: 0 (0 B)
24 Cache Remaining: 0 (0 B)
25 Cache Used%: 100.00%
26 Cache Remaining%: 0.00%
27 Xceivers: 1
28 Last contact: Sat Dec 16 13:31:03 CST 2017
29 
30 
31 Name: 192.168.199.132:50010 (slaver2)
32 Hostname: slaver2
33 Decommission Status : Normal
34 Configured Capacity: 18746191872 (17.46 GB)
35 DFS Used: 1830912 (1.75 MB)
36 Non DFS Used: 4413718528 (4.11 GB)
37 DFS Remaining: 14330642432 (13.35 GB)
38 DFS Used%: 0.01%
39 DFS Remaining%: 76.45%
40 Configured Cache Capacity: 0 (0 B)
41 Cache Used: 0 (0 B)
42 Cache Remaining: 0 (0 B)
43 Cache Used%: 100.00%
44 Cache Remaining%: 0.00%
45 Xceivers: 1
46 Last contact: Sat Dec 16 13:31:03 CST 2017
47 
48 
49 Name: 192.168.199.131:50010 (slaver1)
50 Hostname: slaver1
51 Decommission Status : Normal
52 Configured Capacity: 18746191872 (17.46 GB)
53 DFS Used: 3088384 (2.95 MB)
54 Non DFS Used: 4563468288 (4.25 GB)
55 DFS Remaining: 14179635200 (13.21 GB)
56 DFS Used%: 0.02%
57 DFS Remaining%: 75.64%
58 Configured Cache Capacity: 0 (0 B)
59 Cache Used: 0 (0 B)
60 Cache Remaining: 0 (0 B)
61 Cache Used%: 100.00%
62 Cache Remaining%: 0.00%
63 Xceivers: 1
64 Last contact: Sat Dec 16 13:31:03 CST 2017
65 
66 
67 [root@master hadoop]#

如果hdfs正常启动，然后呢，用tail命令获取数据，下沉到hdfs,将数据存放到hdfs上面：
启动命令，启动采集，启动flume的agent，以及操作如下所示（注意：启动命令中的 -n 参数要给配置文件中配置的agent名称）：
bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1

1 [root@master conf]# cd /home/hadoop/soft/flume/
2 [root@master flume]# ls
3 bin  CHANGELOG  conf  DEVNOTES  docs  lib  LICENSE  NOTICE  README  RELEASE-NOTES  tools
4 [root@master flume]# bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1

出现如下说明已经清洗完毕：

1 [root@master flume]# bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1
2 Info: Sourcing environment configuration script /home/hadoop/soft/flume/conf/flume-env.sh
3 Info: Including Hadoop libraries found via (/home/hadoop/soft/hadoop-2.6.4/bin/hadoop) for HDFS access
4 Info: Excluding /home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/slf4j-api-1.7.5.jar from classpath
5 Info: Excluding /home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar from classpath
6 Info: Including Hive libraries found via (/home/hadoop/soft/apache-hive-1.2.1-bin) for Hive access
7 + exec /home/hadoop/soft/jdk1.7.0_65/bin/java -Xmx20m -cp '/home/hadoop/soft/flume/conf:/home/hadoop/soft/flume/lib/*:/home/hadoop/soft/hadoop-2.6.4/etc/hadoop:/home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/activation-1.1.jar:/home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/apacheds-i18n-2.0.0-M15.jar:/home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/apacheds-kerberos-codec-2.0.0-M15.jar:/home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/api-asn1-api-1.0.0-M20.jar:/home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/api-util-1.0.0-M20.jar:/home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/asm-3.2.jar:/home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/avro-1.7.4.jar:/home/hadoop/soft/hadoop-2.6.4/share/hadoop/common/lib/commons-beanutils-1.7.0.jar:/home/hadoop/soft/hadoop-2.6.4/share/hadoop