大数据-数仓分层之ODS

26 篇文章 1 订阅
16 篇文章 2 订阅

ODS层描述

ods层的作用

ods层为了将原始的业务数据、用户行为数据全部从hdfs中读取出来放入hive中进行分析(实质上也是放在hdfs上,相当于对原始数据进行了备份)

在这里插入图片描述
这里面有所有脚本:都是一些数据装载的脚本,就不多描述

表的同步策略

用户行为日志表(ods_log),按天全部同步
1. 订单表(增量及更新)( ods_order_info)
2 订单详情表(增量)( ods_order_detail)
3 SKU 商品表(全量)(ods_sku_info)
4 用户表(增量及更新)(ods_user_info)
5 商品一级分类表(全量)(ods_base_category1)
6 商品二级分类表(全量)(ods_base_category2)
7 商品三级分类表(全量)(ods_base_category3)
8 支付流水表(增量)(ods_payment_info)
9 省份表(特殊)(ods_base_province)
10 地区表(特殊)(ods_base_region)
11 品牌表(全量)(ods_base_trademark)
12 订单状态表(增量)(ods_order_status_log)
13 SPU 商品表(全量)(ods_spu_info)
14 商品评论表(增量)(ods_comment_info)
15 退单表(增量)(ods_order_refund_info)
16 加购表(全量)(ods_cart_info)
17 商品收藏表(全量)(ods_favor_info)
18 优惠券领用表(新增及变化)(ods_coupon_use)
19 优惠券表(全量)(ods_coupon_info)
20 活动表(全量)(ods_activity_info)
21 活动订单关联表(增量)(ods_activity_order)
22 优惠规则表(全量)(ods_activity_rule)
23 编码字典表(全量)(ods_base_dic)

脚本使用

如果是第一次导入:

[root@hadoop102 bin]$ hdfs_to_ods_db.sh first 2020-06-18

之后导入:

[root@hadoop102 bin]$ hdfs_to_ods_db.sh all 2020-06-18

总结


感谢大家阅、互相学习;
感谢尚硅谷提供的学习资料;
有问题评论或者发邮箱;
gitee:很多代码仓库;
1449697757@qq.com

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值