qq_44509920的博客

文章目录3.1 需求分析3.2 创建dw层表3.3 订单宽表ETL处理1、加载用户维度数据2、导入订单数据3、时间近30天、90天、180天、订单上午、下午时间拉宽4、与地址表合并加入收货地址信息3.4 指标开发1 指标开发 一2 指标开发二3 指标开发三4 指标开发四5 指标开发五6 指标开发六7 创建ads层表、加载数据3.5 退货表指标统计ads层开发常见错误3.1 需求分析电商平台往往需要根据用户的购买数据来分析用户的行为，此处。我们基于用户的订单情况进行一些统计分析，用于将来的用户行为分析。根

123

文章目录1.1 需求分析1.2 创建ads层数据表准备日期数据 drop table if exists `itcast_dw`.`dim_date`; CREATE TABLE `itcast_dw`.`dim_date`( `date_key` string, `date_value` string, `day_in_year` string, `day_in_month` string, `is_first_day_in_month` string, `is

需求1• 统计2019年期间每个季度的销售订单笔数、订单总额• 统计2019年期间每个月的销售订单笔数、订单总额• 统计2019年期间每周一到周日的销售订单笔数、订单总额• 统计2019年期间国家法定节假日、休息日、工作日的订单笔数、订单总额需求2订单分析地域、分类维度分析业务开发集团总公司分为很多的分公司（销售事业部）分公司唐山市分公司邯郸市分公司邢台市分公司保定市分公司承德市分公司沧州市分公司廊坊市分公司衡水市分公司为了公司的经营需要，公司需要定期检查各个分公司的经

文章目录5 数仓项目 - 商品维度数据装载5.1 dw层建表5.2 具体步骤1全量导入2增量导入3 测试5 数仓项目 - 商品维度数据装载使用拉链表解决商品SCD问题5.1 dw层建表-- dw层建表DROP TABLE IF EXISTS `itcast_dw`.`dim_goods`;CREATE TABLE `itcast_dw`.`dim_goods`( goodsId bigint, goodsSn string, productNo string, goodsName

文章目录4 缓慢变化维4.1 什么是缓慢变化维（SCD)4.2 SCD问题的几种解决方案数仓项目-拉链表技术介绍商品历史快照案例方案一：快照每一天的数据到数仓方案一：MySQL到Hive数仓代码实现方案二：使用拉链表保存历史快照方案二：拉链表存储历史快照代码实现查询拉链表4 缓慢变化维4.1 什么是缓慢变化维（SCD)1、缓慢变化维简介缓慢变化维，简称SCD（Slowly Changing Dimensions）一些维度表的数据不是静态的，而是会随着时间而缓慢地变化（这里的缓慢是相对事实表而言，

文章目录3 项目环境初始化3.1 Hive分层说明3.2 创建ods层数据表3.3 ods层全量数据抽取3.4 ods层增量数据抽取3 项目环境初始化3.1 Hive分层说明分库存放ods层dw层ads层命名规则ods层表与原始数据库表名称相同dw层表ofact_前缀表示事实表odim_前缀表示维度表创建分层数据库：#hive>create database itcast_ods;create database itcast_dw;create da

文章目录数据仓库开发1. 业务系统表结构介绍订单表itcast_orders订单明细表 itcast_order_goods商品信息表 itcast_goods店铺表 itcast_shops商品分类表 itcast_goods_cats组织结构表 itcast_org订单退货表 itcast_order_refunds用户表 itcast_users用户收货地址表 itcast_user_address支付方式表 itcast_payments2、 DBeaver数据仓库开发1. 业务系统表结构介绍

文章目录数据仓库维度模型设计1 、维度建模基本概念1.1． 事实表1.2． 维度表2． 维度建模三种模式2.1． 星型模型2.2． 雪花模式2.3． 星座模式数据仓库分层架构1 为什么要分层2 数仓分层思想3 阿里巴巴数据仓库分层架构数据仓库维度模型设计1 、维度建模基本概念维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快速完成分析需求

文章目录总体介绍电商行业分析电商业务系统简介网站前台运营商后台商家管理后台千亿级数仓项目简介业务流程大数据离线数仓项目架构项目技术简介项目环境介绍项目ER图项目需求总体介绍了解大数据离线数仓架构了解项目部署环境（数据规模和集群规模）了解项目ER图了解项目需求阶段一了解行业背景、了解项目背景，项目架构介绍、技术选型，项目环境（数据/硬件）介绍，项目ER图、项目需求介绍。基于项目需求实现查询功能（写SQL）或整理出查询流程阶段二学习、掌握kettle的使用、使用kettle将项目需