静静网站流量分析项目
网站流量分析项目
优惠券已抵扣
余额抵扣
还需支付
¥9.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
静静七分醉
该动手的年龄别只动脑
展开
-
静静网站流量分析项目之实时分析sparkstreaming_8
简单回顾在上一篇介绍了如何将Flume的sink数据实时导入kafka。本篇将主要介绍sparkstreaming消费kafka数据,将消费到的数据“kafkaStream”在spark清洗数据,得到清洗后的数据“clearStream”,处理数据(基于清洗后的数据算出8个指标)得到结果数据resultStream。最后将结果数据存储在mysql中。Spark的数据来源有两种,第一种...原创 2019-06-18 19:43:16 · 468 阅读 · 0 评论 -
静静网站流量分析项目_0
最近打算把大数据从日志收集,数据存储,数据清洗处理,数据导出,可视化展示进行一个整合,汇总到静静网站流量分析项目,本篇先对该项目做一个简单的介绍。1.业务背景 网站流量统计是改进网站服务的重要手段之一,通过获取用户在网站的行为数据,进行分析,得到有价值的信息。可以基于这些数据对网站进行改进。 1.按照在线情况分析: ...原创 2019-06-17 12:04:25 · 781 阅读 · 0 评论 -
静静网站流量分析项目之实时分析消费flum数据_7
目标:将flum中心服务器的数据发布一份到kafka,用到的是Kafka Sink。1.修改两个节点的Flume中心服务器配置增加kafkaSink,将数据实时导入kafka#声明Agenta1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2#声明sourcea1.sources.r1.type = avroa1...原创 2019-06-18 14:29:48 · 359 阅读 · 0 评论 -
静静网站流量分析项目之自动化执行脚本_6
1.在MySql中创建需要的数据库和表create database JingJingdb;use JingJingdb;create table tongji1(reportTime date,pv int,uv int,vv int,br double,newi...原创 2019-06-18 13:00:48 · 498 阅读 · 1 评论 -
静静网站流量分析项目之hive数据处理_5
数据处理简单来说就是要用hsql真正的来实现我们的业务逻辑1. 利用Hive实现业务指标的计算a. PV访问量,一天之内访问的总量,有多少条日志就是多少个访问量。select count(*) as pv from dataclear where reportTime='2019-06-18';b. UV独立访客数,一天之内用户的总数,将一天内所有日志的uvid去重后计数...原创 2019-06-18 10:57:20 · 387 阅读 · 0 评论 -
静静网站流量分析项目之离线处理_数据清洗_4
在这一片我们将介绍如何将HDFS上的数据进行清洗得到自己想要的数据。在HDFS上我们得到的如下的信息"http://localhost/FluxAppServer/a.jsp|a.jsp|A页面|UTF-8|341x256|24-bit|zh-cn|0|1||0.5514263453546305|http://localhost/FluxAppServer/b.jsp|Mozilla/5.0...原创 2019-06-18 09:15:16 · 436 阅读 · 0 评论 -
静静网站流量分析项目之flum中心服务器到HDFS存储_3
1.启动hadoop:start-all.sh2.修改中心服务器配置文件:#声明Agenta1.sources = r1a1.sinks = k1a1.channels = c1#声明sourcea1.sources.r1.type = avroa1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 44444#声...原创 2019-06-17 21:39:19 · 329 阅读 · 0 评论 -
静静网站流量分析项目之日志收集数据到flum_2
1.在日志服务器中,通过Log4jAppender将日志发往flume客户端1.1 在日志服务器应用中导入Flume相关开发包,WEB-INF/lib下1.2 导入log4j的jar包,配置log4j配置文件log4j.properties,实现发送日志给flumelog4j.rootLogger = info,stdout,flumelog4j.appender.stdout ...原创 2019-06-17 19:57:45 · 503 阅读 · 0 评论 -
静静网站流量分析项目之网页埋点_1
在上一篇介绍了“静静网站流量分析"项目的整体架构,我们会先进行应用服务的建设,所以本篇介绍的是如何在网页中进行埋点。目录1.网页埋点(本质:开发JS)2.js编写3.开发应用服务器代码 JingJingAppServer4.开发日志服务器代码JingJingLogServer1.网页埋点(本质:开发JS)开发js文件,要求应用服务器的所有页面都引入这个js文...原创 2019-06-17 19:04:26 · 449 阅读 · 0 评论 -
静静网站流量分析项目之集群部署_10
浏览器访问应用服务器,得到的页面触发JS,JS采集的数据通过网页嵌入的图片提交到日志服务器 ,日志服务器通过Log4jAppender发给FlumAgent进行数据收集,FlumAgent将数据通过随机分发在两个中心服务器上。离线分析:中心服务器将数据按日期存储在HDFS上,用hive对HDFS上的数据进行清洗,得到自己想要的字段保存起来,把清洗后的数据进行处理,通过定时任务hive每天晚上...原创 2019-06-19 11:33:25 · 447 阅读 · 0 评论 -
静静网站流量分析项目之echarts可视化展示_9
回顾上一篇已经将数据存储在mysql中,在这一篇我们将需要把mysql中的数据以图表的形式展现出来。获取数据库数据需要导入mysql驱动包具体代码实现:package com.lj;import java.io.IOException;import java.sql.Connection;import java.sql.Date;import java.sql.Driv...原创 2019-06-19 09:14:08 · 594 阅读 · 0 评论