网站流量日志分析项目02

本文档详述了一个网站流量日志分析项目,包括数据采集、Flume日志收集、数据清洗和模型构建。首先,介绍了如何通过埋点收集数据,实现页面浏览和点击事件的监控。接着,利用Flume的taildir source进行日志采集,将数据迁移到Hadoop集群。然后,进行了数据预处理,去除无效数据,构建PageView和VisitView模型,以理解用户在网站的访问轨迹。
摘要由CSDN通过智能技术生成

1. 埋点收集数据实现

视频

01–埋点收集–系统部署架构图和采集流程梳理
02–埋点收集–系统部署环境搭建
03–埋点收集–方案一–基本功能数据采集实现
04–埋点收集–方案二–点击事件数据采集实现
05–埋点收集–方案二–中文乱码问题解决

目标

​ 本章先总结整个采集架构的流程原理,再分别从如何部署环境实现页面浏览日志生成,到点击事件的监控记录等操作。

小结

  1. 系统部署架构图和采集流程梳理
    在这里插入图片描述

  2. 部署环境(node01安装httpd,node03安装nginx):

    软件位置:day18-项目\软件\网站流量日志自定义采集服务\部署相关

    配置文件位置:day18-项目\软件\网站流量日志自定义采集服务\参考文档

    安装文档:day18-项目\讲义\hadoop项目–网站流量日志分析–1.pdf

  3. 方案一:(页面刷新纪录用户数据)

    • node01:在 /var/www/html 下存放 index.html,修改index ma.js所存放的服务器ip(node03)
    • node03:在 nginx安装目录/html 下存放 ma.js ,修改ma.js发送图片请求的ip地址(node03&
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值