G:\Bigdata\Projects\大数据项目之电商数仓V6.0
第1章 数据仓库概念
数据仓库( Data Warehouse ),是为企业制定决策,提供数据支持的。可以帮助企业,改进业务流程、提高产品质量等。
数据仓库的输入数据通常包括:业务数据、用户行为数据和爬虫数据等
业务数据:就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中,需要和网站后台数据库进行增删改查交互,产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。
用户行为数据:用户在使用产品过程中,通过埋点收集与客户端产品交互过程中产生的数据,并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。
爬虫数据:通常是通过技术手段获取其他公司网站的数据。
第2章 项目需求及架构设计
2.1 项目需求分析
1)采集平台
(1)用户行为数据采集平台搭建
(2)业务数据采集平台搭建
2)离线需求(31个指标)
主题 | 子主题 | 指标 |
流量主题 | 各渠道流量统计 | 当日各渠道独立访客数 |
当日各渠道会话总数 | ||
当日各渠道会话平均浏览页面数 | ||
当日各渠道会话平均停留时长 | ||
当日各渠道跳出率 | ||
路径统计 | 路径分析 | |
用户主题 | 用户变动统计 | 流失用户数 |
回流用户数 | ||
用户留存统计 | 新增留存率 | |
用户新增活跃统计 | 新增用户数 | |
活跃用户数 | ||
用户行为漏斗分析 | 首页浏览人数 | |
商品详情页浏览人数 | ||
加购人数 | ||
下单人数 | ||
支付人数 | ||
新增下单用户统计 | 新增下单人数 | |
新增支付成功人数 | ||
最近7日内连续3日下单用户数 | ||
商品主题 | *复购率统计 | 最近30日各品牌复购率 |
各品牌商品下单统计 | 各品牌订单数 | |
各品牌订单人数 | ||
各品类商品交易统计 | 各品类订单数 | |
各品类订单人数 | ||
购物车存量统计 | 各分类商品购物车存量Top3 | |
各品牌商品收藏次数Top3 | ||
交易主题 | 订单支付时间统计 | 下单到支付时间间隔平均值 |
各省份交易统计 | 各省份订单数 | |
各省份订单金额 | ||
优惠券主题 | 优惠券使用率统计 | 使用次数 |
使用人数 |
3)实时需求(46个指标)
主题 | 子主题 | 指标 |
流量主题 | 各渠道流量统计 | 当日各渠道独立访客数 |
当日各渠道会话总数 | ||
当日各渠道会话平均浏览页面数 | ||
当日各渠道会话平均停留时长 | ||
当日各渠道跳出率 | ||
流量分时统计 | 当日各小时独立访客数 | |
当日各小时页面浏览数 | ||
当日各小时新访客数 | ||
新老访客流量统计 | 各类访客数 | |
各类访客页面浏览数 | ||
各类访客平均在线时长 | ||
各类访客平均访问页面数 | ||
关键词统计 | 当日各关键词评分 | |
用户主题 | 用户变动统计 | 当日回流用户数 |
用户新增活跃统计 | 当日新增用户数 | |
当日活跃用户数 | ||
用户行为漏斗分析 | 当日首页浏览人数 | |
当日商品详情页浏览人数 | ||
当日加购人数 | ||
当日下单人数 | ||
当日支付成功人数 | ||
新增交易用户统计 | 当日新增下单人数 | |
当日新增支付成功人数 | ||
商品主题 | *复购率统计 | 最近 7/30 日截至当前各品牌复购率 |
各品牌商品交易统计 | 当日各品牌订单数 | |
当日各品牌订单人数 | ||
当日各品牌订单金额 | ||
当日各品牌退单数 | ||