Poolweet_的博客

目录 1.collect_set函数 2.nvl函数 3.日期处理函数 1.collect_set函数 数据： id order-type order-number 1 aa 5 2 bb 2 1 bb 1 2 aa 3 1 aa 2 需求：对用户的订单进行分析，将不同订单类型分别多少单展示出来，每个用户一行 实现： 1.使用concat（）函数将order_type和order_numb..

目录 数仓架构演变 离线大数据架构 数据仓库分层 Lambda架构 Lambda架构存在的问题 Kappa架构 Kappa架构典型案例 Kappa架构的重新处理过程 Lambda架构和Kappa架构的对比 实时数仓和离线数仓 数仓架构演变 数据仓库概念是Inmon于1990年提出并给出了一个完整的建设方法，随着互联网时代来临，数据量暴增，开始使 用大数据工具来替代经典数仓中的传统工具。 此时仅仅是工具的取代，架构上并没有根本 的区别，可以把这个架构叫做离线大数据架构。 后来随着业务

累计快照适用于较短周期，有着明确的开始和结束状态的过程，如一个订单执行的过程，并记录过程中每个步骤的执行时间，使分析人员对执行的过程有整体的把握，周期快照事实表记录上每一个步骤的执行时间是逐步建立的，随着执行的过程逐步更新的事实表中。 优惠券的生命周期：领取优惠券→用优惠券下单→优惠券参与支付 累计型快照事实表使用：统计优惠券领取次数，优惠券下单次数，优惠券参与支付次数 1.建表 drop table if exists dwd_fact_coupon_use; COMMENT '删除已存在的表

一.数据仓库分层 ODS(Operation Data Store)层：原始数据层，存放加载原始日志、数据，数据保持原貌不做处理。 DWD(Data warehouse detail)层：对ODS层数据进行清洗（去除空值，超过极限范围的数据）、维度退化、脱敏等。 DWS（data warehouse service）层：以DWD为基础，按天进行轻度汇总。 DWT（data warehouse Topic）层：以DWS为基础，按主题进行汇总。 ADS（Application Data Store）层：为各种