Hadoop_18_综合案例

本文详细介绍了利用Hadoop进行网站点击流日志数据分析的过程,包括数据模型、流量分析、技术流程和架构。通过Flume采集数据,MapReduce进行预处理,Hive进行数据入库和分析,最后通过数据可视化展示结果。重点关注了如何从pageView模型转换到visit模型,以及session的识别和流量指标的计算。
摘要由CSDN通过智能技术生成

网站点击流日志数据分析

点击流数据模型

点击流(Click Stream)是指用户在网站上持续访问的轨迹。
通过js的方式,可以获取到访客在网站上面点击的所有的链接,按钮,商品,等等。
埋点收集的数据都发送到了日志服务器,大概一条日志1kb。

可以通过日志分析问题,如:

  1. 有多少用户访问
  2. 一共访问了多少页面
  3. 平均一个用户访问了多少个页面
  4. 页面的停留时间
  5. 今天一个用户访问了多少次?用session来区分。比如,记录的访问时间间隔超过30分钟算两次。

为了便于求取各种数据统计的指标,将访问数据模型转化为两个模型:

  • pageView : 重视的是每一个页面受到的访问情况,每访问一个页面,就算一条记录
    在这里插入图片描述
  • visit : 重视的是每一个session会话内的访问情况,这次会话内,哪个页面进来,哪个页面出去,进入时间,出去时间
    在这里插入图片描述

网站流量分析

网站流量分析模型举例

网站流量质量分析(流量分析)
分析的是我们网站流量的来源::广告推广,自然搜索(百度搜索,google搜索),付费搜索(百度竞价排名),直接流量(直接敲网站的网址)等

网站流量多维度细分(流量分析)
在这里插入图片描述
网站内容及导航分析(内容分析)
进入网站首页 >> 商品分类页 >> 商品详情页 >> 订单确认页 >> 付款页面

网站转化以及漏斗分析(转化分析)

  • 阻力的流失
  • 迷失
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一、背景 随着互联网、移动互联网、物联网等技术的不断发展,以及社交、电商、在线视频、游戏等应用的飞速发展,数据量呈现爆炸式增长,数据处理和数据分析成为了当前互联网产业的热点和难点。在这种背景下,Hadoop作为一种分布式计算框架,得到了越来越广泛的应用。 二、案例介绍 本案例以一家电商公司为例,介绍如何利用Hadoop对大数据进行处理和分析,以提高企业的竞争力和盈利能力。 1. 数据收集 该电商公司的业务范围非常广泛,包括服装、家居、数码、食品等多个品类,每个品类下又包含大量的商品。因此,需要收集大量的数据,包括用户行为数据、商品数据、订单数据等。这些数据主要来源于网站、移动应用、第三方平台等。为了方便数据的处理和分析,需要将这些数据进行清洗和格式化处理,并存储到Hadoop集群中。 2. 数据处理 在数据收集之后,需要对数据进行处理,包括数据清洗、数据转化、数据聚合等。具体来说,需要对用户行为数据进行分析,包括用户访问行为、用户购买行为、用户评价行为等。对于用户访问行为,可以分析用户的访问路径、停留时间、访问频率等;对于用户购买行为,可以分析用户的购买时间、购买频次、购买金额等;对于用户评价行为,可以分析用户的评价内容、评价时间、评价分数等。通过这些数据的分析,可以了解用户的兴趣爱好、需求等,从而为企业的营销和产品策略提供参考。 3. 数据挖掘 在数据处理之后,需要对数据进行挖掘和分析,以发现潜在的规律和趋势。具体来说,可以利用Hadoop中的机器学习算法、数据挖掘算法等,对用户行为数据、商品数据、订单数据等进行分析和建模。通过这些模型的分析和预测,可以为企业的营销和产品策略提供参考。 4. 数据可视化 在数据挖掘之后,需要将分析结果进行可视化展示,以便企业管理层、营销团队等快速了解业务情况。具体来说,可以利用Hadoop中的可视化工具,如Hue、Zeppelin等,将分析结果以图表、表格等形式进行展示。通过数据可视化,可以帮助企业快速了解业务情况,及时调整营销策略、产品策略等,提高企业的竞争力和盈利能力。 三、总结 本案例以电商企业为例,介绍了如何利用Hadoop对大数据进行处理和分析,以提高企业的竞争力和盈利能力。通过数据收集、数据处理、数据挖掘和数据可视化等环节的综合应用,可以为企业提供全方位的数据支持,促进企业的发展和创新。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值