数仓项目实战2:ODS贴源层

最新推荐文章于 2024-08-08 11:00:00 发布

曾牛

最新推荐文章于 2024-08-08 11:00:00 发布

阅读量8.6k

点赞数 6

分类专栏：数仓

本文链接：https://blog.csdn.net/qq_28286027/article/details/107056803

版权

本文详细介绍了电商数仓的第一层ODS层的构建过程，包括从MySQL和Hive数据库中创建业务数据表，如用户、商品、订单等信息，以及埋点日志和外部广告数据的处理。同时，文中提到了数据清洗的重要性，如格式一致性、逻辑错误和缺失值的处理。

摘要由CSDN通过智能技术生成

1. 第一层ODS层

1 ODS层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。
2 本项目中使用的ODS层数据主要包括：用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、行为日志信息

数仓ods层和业务数据表的对应关系

中文含义	MYSQL表名	HIVE表名
用户基本信表	nshop.customer	ods_nshop.ods_nshop_02_customer
用户关注表	nshop.customer_attention	ods_nshop.ods_nshop_02_customer_attention
收货地址管理表	nshop.customer_consignee	ods_nshop.ods_nshop_02_customer_consignee
订单表	nshop.orders	ods_nshop.ods_nshop_02_orders
订单详情表	nshop.order_detail	ods_nshop.ods_nsho