网站流量日志分析项目01

1. 流量分析背景&系统架构

视频

01-背景介绍–网站分析的意义
02-背景介绍–如何进行网站分析–流量分析（质量、多维细分）
03-背景介绍–如何进行网站分析–内容导航分析
04-背景介绍–如何进行网站分析–转化分析（漏斗模型）
05–整体技术流程-数据采集和数据预处理
06–整体技术流程-数据入库（ETL）
07–整体技术流程-数据分析和数据可视化
08–整体技术流程-系统架构图

目标

​ 本章主要介绍网站流量分析的意义和价值，以及互联网数仓的常见架构，ETL过程等。本章重点掌握数据处理的流程，每个环节中使用的技术。

小结

1. 网站分析的意义：分析用户的行为数据，让更多的用户沉淀下来变成会员，赚取最大化的收入。

2. 网站分析主要从三点进行分析：流量分析（质量分析，流量多维度细分），内容分析，转化分析。

3. 数据处理的流程：

   • 数据采集：1.数据从无到有的过程。 2.数据从某个存储介质搬运到指定的存储介质。（Flume，Sqoop，canal 等） 用户的客户端信息
   • 数据预处理：保证后续正式处理的数据格式统一，干净规则的结构化数据。（MapReduce，Spark Core / Spark SQL，Flink）
   • 数据入库：将不同数据源的数据加载到数据库仓库中统一存放。&#x