千亿级数仓>商品维度数据装载

最新推荐文章于 2022-10-02 10:45:00 发布

BigMoM1573

最新推荐文章于 2022-10-02 10:45:00 发布

阅读量314

点赞数

分类专栏：项目文章标签：项目

本文链接：https://blog.csdn.net/qq_44509920/article/details/106044677

版权

本文详述了在数仓项目中，针对商品维度数据的拉链表构建过程，包括全量导入和增量导入两个阶段。在全量导入时，将2019年09月08日前的所有ODS数据导入拉链历史记录表；增量导入时，以2019年09月09日为例，介绍如何通过Kettle抽取、Spark SQL更新历史数据并合并加载到临时表，最后导入到历史拉链表中。测试环节确保数据正确性。

摘要由CSDN通过智能技术生成

文章目录

5 数仓项目 - 商品维度数据装载

5 数仓项目 - 商品维度数据装载

使用拉链表解决商品SCD问题

5.1 dw层建表

-- dw层建表
DROP TABLE IF EXISTS `itcast_dw`.`dim_goods`;
CREATE TABLE `itcast_dw`.`dim_goods`(
  goodsId bigint,
  goodsSn string,
  productNo string,
  goodsName string,
  goodsImg string,
  shopId bigint,
  goodsType bigint,
  marketPrice double,
  shopPrice double,
  warnStock bigint,
  goodsStock bigint,
  goodsUnit string,
  goodsTips string,
  isSale bigint,
  isBest bigint,
  isHot bigint,
  isNew bigint,
  isRecom bigint,
  goodsCatIdPath string,
  goodsCatId bigint,
  shopCatId1 bigint,
  shopCatId2 bigint,
  brandId bigint,
  goodsDesc string,
  goodsStatus bigint,
  saleNum bigint,
  saleTime string,
  visitNum bigint,
  appraiseNum bigint,
  isSpec bigint,
  gallery string,
  goodsSeoKeywords string,
  illegalRemarks string,
  dataFlag bigint,
  createTime string,
  isFreeShipping bigint,
  goodsSerachKeywords string,
  modifyTime string,
  dw_start_date string,
  dw_end_date string
)
STORED AS PARQUET;

5.2 具体步骤

拉链表设计一共分为以下几个步骤：

1、第一次全量导入
所有的ODS数据全部导入到拉链历史记录表中
2、增量导入（某天，举例：2018-09-09）
增量导入某天的数据到ODS分区
合并历史数据
通过连接查询方式更新

1全量导入

将所有 2019年09月08日以前创建的商品以及修改的数据全部导入到拉链历史记录表中
操作步骤：
1、使用Kettle将20190908以前的数据抽取到ods

SELECT *
FROM itcast_ods.itcast_goods
WHERE DATE_FORMAT(createtime, '%Y%m%d') <= '20190908' OR DATE_FORMAT(modifyTime, '%Y%m%d') <= '20190908';

2、使用spark sql将全量数据导入到dw层维度表

set spark.sql.shuffle.partitions=1; --shuffle时的分区数，默认是200个
-- 使用spark sql将全量数据导入到dw层维度表
insert overwrite table `itcast_dw`.`dim_goods`
select
  goodsId,
  goodsSn,
  productNo,
  goodsName,
  goodsImg,
  shopId,
  goodsType,
  marketPrice,
  shopPrice,
  warnStock,
  goodsStock,
  goodsUnit,
  goodsTips,
  isSale,
  isBest,
  isHot,
  isNew,
  isRecom,
  goodsCatIdPath,
  goodsCatId,
  shopCatId1,
  shopCatId2,
  brandId,
  goodsDesc,
  goodsStatus,
  saleNum,
  saleTime,
  visitNum,
  appraiseNum,
  isSpec,
  gallery,
  goodsSeoKeywords,
  illegalRemarks,
  dataFlag,
  createTime,
  isFreeShipping,
  goodsSerachKeywords,
  modifyTime,
    case when modifyTime is not null
      then from_unixtime(unix_timestamp(modifyTime, 'yyyy-MM-dd HH:mm:ss'),'yyyy-MM-dd')
      else from_unixtime(unix_timestamp(createTime, 'yy