数据仓库中历史拉链表的更新方法

最新推荐文章于 2024-09-24 20:51:31 发布
最新推荐文章于 2024-09-24 20:51:31 发布
阅读量1.7k 收藏 4
点赞数 1
分类专栏： 数据仓库~大数据 文章标签： 历史拉链表

转载：http://lxw1234.com/archives/2015/08/473.htm


本文中假设：

  1. 数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据；
  2. 如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史；
  3. 订单状态包括三个：创建、支付、完成；
  4. 创建时间和修改时间只取到天，如果源订单表中没有状态修改时间，那么抽取增量就比较麻烦，需要有个机制来确保能抽取到每天的增量数据；
  5. 本文中的表和SQL都使用Hive的HQL语法；
  6. 源系统中订单表结构为：

CREATE TABLE orders (
orderid INT,
createtime STRING,
modifiedtime STRING,
status STRING
) stored AS textfile;

7.在数据仓库的ODS层，有一张订单的增量数据表，按天分区，存放每天的增量数据：

CREATE TABLE t_ods_orders_inc (
orderid INT,
createtime STRING,
modifiedtime STRING,
status STRING
) PARTITIONED BY (day STRING)
stored AS textfile;

8. 在数据仓库的DW层，有一张订单的历史数据拉链表，存放订单的历史状态数据：

CREATE TABLE t_dw_orders_his (
orderid INT,
createtime STRING,
modifiedtime STRING,
status STRING,
dw_start_date STRING,
dw_end_date STRING
) stored AS textfile;

9. 暂未考虑Hive上表的查询性能问题，只实现功能；

 

10. 2015-08-21至2015-08-23，每天原系统订单表的数据如下，红色标出的为当天发生变化的订单，即增量数据：

历史拉链表

历史拉链表

历史拉链表

全量初始化

在数据从源业务系统每天正常抽取和刷新到DW订单历史表之前，需要做一次全量的初始化，就是从源订单表中昨天以前的数据全部抽取到ODW，并刷新到DW。

以上面的数据为例，比如在2015-08-21这天做全量初始化，那么我需要将包括2015-08-20之前的所有的数据都抽取并刷新到DW：

第一步，抽取全量数据到ODS：
INSERT overwrite TABLE t_ods_orders_inc PARTITION (day = ‘2015-08-20′)
SELECT orderid,createtime,modifiedtime,status
FROM orders
WHERE createtime <= ‘2015-08-20′;

第二步，从ODS刷新到DW：
INSERT overwrite TABLE t_dw_orders_his
SELECT orderid,createtime,modifiedtime,status,
createtime AS dw_start_date,
‘9999-12-31′ AS dw_end_date
FROM t_ods_orders_inc
WHERE day = ‘2015-08-20′;

完成后，DW订单历史表中数据如下：

 

  1. spark-sql> select * from t_dw_orders_his;
  2. 1 2015-08-18 2015-08-18 创建 2015-08-18 9999-12-31 
  3. 2 2015-08-18 2015-08-18 创建 2015-08-18 9999-12-31
  4. 3 2015-08-19 2015-08-21 支付 2015-08-19 9999-12-31
  5. 4 2015-08-19 2015-08-21 完成 2015-08-19 9999-12-31
  6. 5 2015-08-19 2015-08-20 支付 2015-08-19 9999-12-31
  7. 6 2015-08-20 2015-08-20 创建 2015-08-20 9999-12-31
  8. 7 2015-08-20 2015-08-21 支付 2015-08-20 9999-12-31
  9. Time taken: 2.296 seconds, Fetched 7 row(s)
 

 

增量抽取
 

每天，从源系统订单表中，将前一天的增量数据抽取到ODS层的增量数据表。这里的增量需要通过订单表中的创建时间和修改时间来确定：INSERT overwrite TABLE t_ods_orders_inc PARTITION (day = ‘${day}‘)SELECT orderid,createtime,modifiedtime,statusFROM ordersWHERE createtime = ‘${day}’ OR modifiedtime = ‘${day}';
 

注意：在ODS层按天分区的增量表，最好保留一段时间的数据，比如半年，为了防止某一天的数据有问题而回滚重做数据。
 

增量刷新历史数据
 

从2015-08-22开始，需要每天正常刷新前一天（2015-08-21）的增量数据到历史表。
 

第一步，通过增量抽取，将2015-08-21的数据抽取到ODS：INSERT overwrite TABLE t_ods_orders_inc PARTITION (day = ‘2015-08-21′)SELECT orderid,createtime,modifiedtime,statusFROM ordersWHERE createtime = ‘2015-08-21′ OR modifiedtime = ‘2015-08-21′;
 

ODS增量表中2015-08-21的数据如下：
 

 

  1. spark-sql> select * from t_ods_orders_inc where day = '2015-08-21';
  2. 3 2015-08-19 2015-08-21 支付 2015-08-21
  3. 4 2015-08-19 2015-08-21 完成 2015-08-21
  4. 7 2015-08-20 2015-08-21 支付 2015-08-21
  5. 8 2015-08-21 2015-08-21 创建 2015-08-21
  6. Time taken: 0.437 seconds, Fetched 4 row(s)
 

第二步，通过DW历史数据(数据日期为2015-08-20)，和ODS增量数据(2015-08-21)，刷新历史表：
 

先把数据放到一张临时表中：
 

 

  1. DROP TABLE IF EXISTS t_dw_orders_his_tmp;
  2. CREATE TABLE t_dw_orders_his_tmp AS 
  3. SELECT orderid,
  4. createtime,
  5. modifiedtime,
  6. status,
  7. dw_start_date,
  8. dw_end_date 
  9. FROM (
  10.  SELECT a.orderid,
  11.  a.createtime,
  12.  a.modifiedtime,
  13.  a.status,
  14.  a.dw_start_date,
  15.  CASE WHEN b.orderid IS NOT NULL AND a.dw_end_date > '2015-08-21' THEN '2015-08-20' ELSE a.dw_end_date END AS dw_end_date 
  16.  FROM t_dw_orders_his a 
  17.  left outer join (SELECT * FROM t_ods_orders_inc WHERE day = '2015-08-21') b 
  18.  ON (a.orderid = b.orderid) 
  19.  UNION ALL 
  20.  SELECT orderid,
  21.  createtime,
  22.  modifiedtime,
  23.  status,
  24.  modifiedtime AS dw_start_date,
  25.  '9999-12-31' AS dw_end_date 
  26.  FROM t_ods_orders_inc 
  27.  WHERE day = '2015-08-21' 
  28. ) x 
  29. ORDER BY orderid,dw_start_date;
 

其中：UNION ALL的两个结果集中，第一个是用历史表left outer join 日期为 ${yyy-MM-dd} 的增量，能关联上的，并且dw_end_date > ${yyy-MM-dd}，说明状态有变化，则把原来的dw_end_date置为(${yyy-MM-dd} – 1), 关联不上的，说明状态无变化，dw_end_date无变化。第二个结果集是直接将增量数据插入历史表。
 

最后把临时表中数据插入历史表：INSERT overwrite TABLE t_dw_orders_hisSELECT * FROM t_dw_orders_his_tmp;
 

 
 

刷新完后，历史表中数据如下：
 

 

  1. spark-sql> select * from t_dw_orders_his order by orderid,dw_start_date;
  2. 1 2015-08-18 2015-08-18 创建 2015-08-18 9999-12-31
  3. 2 2015-08-18 2015-08-18 创建 2015-08-18 9999-12-31
  4. 3 2015-08-19 2015-08-21 支付 2015-08-19 2015-08-20
  5. 3 2015-08-19 2015-08-21 支付 2015-08-21 9999-12-31
  6. 4 2015-08-19 2015-08-21 完成 2015-08-19 2015-08-20
  7. 4 2015-08-19 2015-08-21 完成 2015-08-21 9999-12-31
  8. 5 2015-08-19 2015-08-20 支付 2015-08-19 9999-12-31
  9. 6 2015-08-20 2015-08-20 创建 2015-08-20 9999-12-31
  10. 7 2015-08-20 2015-08-21 支付 2015-08-20 2015-08-20
  11. 7 2015-08-20 2015-08-21 支付 2015-08-21 9999-12-31
  12. 8 2015-08-21 2015-08-21 创建 2015-08-21 9999-12-31
  13. Time taken: 0.717 seconds, Fetched 11 row(s)
  14.  
 

由于在2015-08-21做了8月20日以前的数据全量初始化，而订单3、4、7在2015-08-21的增量数据中也存在，因此都有两条记录，但不影响后面的查询。
 

再看将2015-08-22的增量数据刷新到历史表：
 

 

  1. INSERT overwrite TABLE t_ods_orders_inc PARTITION (day = '2015-08-22') 
  2. SELECT orderid,createtime,modifiedtime,status 
  3. FROM orders 
  4. WHERE createtime = '2015-08-22' OR modifiedtime = '2015-08-22';
  5.  
  6. DROP TABLE IF EXISTS t_dw_orders_his_tmp;
  7. CREATE TABLE t_dw_orders_his_tmp AS 
  8. SELECT orderid,
  9. createtime,
  10. modifiedtime,
  11. status,
  12. dw_start_date,
  13. dw_end_date 
  14. FROM (
  15.  SELECT a.orderid,
  16.  a.createtime,
  17.  a.modifiedtime,
  18.  a.status,
  19.  a.dw_start_date,
  20.  CASE WHEN b.orderid IS NOT NULL AND a.dw_end_date > '2015-08-22' THEN '2015-08-21' ELSE a.dw_end_date END AS dw_end_date 
  21.  FROM t_dw_orders_his a 
  22.  left outer join (SELECT * FROM t_ods_orders_inc WHERE day = '2015-08-22') b 
  23.  ON (a.orderid = b.orderid) 
  24.  UNION ALL 
  25.  SELECT orderid,
  26.  createtime,
  27.  modifiedtime,
  28.  status,
  29.  modifiedtime AS dw_start_date,
  30.  '9999-12-31' AS dw_end_date 
  31.  FROM t_ods_orders_inc 
  32.  WHERE day = '2015-08-22' 
  33. ) x 
  34. ORDER BY orderid,dw_start_date;
  35.  
  36.  
  37. INSERT overwrite TABLE t_dw_orders_his 
  38. SELECT * FROM t_dw_orders_his_tmp;
  39.  
 

刷新完后历史表数据如下：
 

 

  1. spark-sql> select * from t_dw_orders_his order by orderid,dw_start_date;
  2. 1 2015-08-18 2015-08-18 创建 2015-08-18 2015-08-21
  3. 1 2015-08-18 2015-08-22 支付 2015-08-22 9999-12-31
  4. 2 2015-08-18 2015-08-18 创建 2015-08-18 2015-08-21
  5. 2 2015-08-18 2015-08-22 完成 2015-08-22 9999-12-31
  6. 3 2015-08-19 2015-08-21 支付 2015-08-19 2015-08-20
  7. 3 2015-08-19 2015-08-21 支付 2015-08-21 9999-12-31
  8. 4 2015-08-19 2015-08-21 完成 2015-08-19 2015-08-20
  9. 4 2015-08-19 2015-08-21 完成 2015-08-21 9999-12-31
  10. 5 2015-08-19 2015-08-20 支付 2015-08-19 9999-12-31
  11. 6 2015-08-20 2015-08-20 创建 2015-08-20 2015-08-21
  12. 6 2015-08-20 2015-08-22 支付 2015-08-22 9999-12-31
  13. 7 2015-08-20 2015-08-21 支付 2015-08-20 2015-08-20
  14. 7 2015-08-20 2015-08-21 支付 2015-08-21 9999-12-31
  15. 8 2015-08-21 2015-08-21 创建 2015-08-21 2015-08-21
  16. 8 2015-08-21 2015-08-22 支付 2015-08-22 9999-12-31
  17. 9 2015-08-22 2015-08-22 创建 2015-08-22 9999-12-31
  18. 10 2015-08-22 2015-08-22 支付 2015-08-22 9999-12-31
  19. Time taken: 0.66 seconds, Fetched 17 row(s)
  20.  
 


 

查看2015-08-21的历史快照数据：
 

 

  1. spark-sql> select * from t_dw_orders_his where dw_start_date <= '2015-08-21' and dw_end_date >= '2015-08-21';
  2. 1 2015-08-18 2015-08-18 创建 2015-08-18 2015-08-21
  3. 2 2015-08-18 2015-08-18 创建 2015-08-18 2015-08-21
  4. 3 2015-08-19 2015-08-21 支付 2015-08-21 9999-12-31
  5. 4 2015-08-19 2015-08-21 完成 2015-08-21 9999-12-31
  6. 5 2015-08-19 2015-08-20 支付 2015-08-19 9999-12-31
  7. 6 2015-08-20 2015-08-20 创建 2015-08-20 2015-08-21
  8. 7 2015-08-20 2015-08-21 支付 2015-08-21 9999-12-31
  9. 8 2015-08-21 2015-08-21 创建 2015-08-21 2015-08-21
 

订单1在2015-08-21的时候还处于创建的状态，在2015-08-22的时候状态变为支付。
 

再刷新2015-08-23的增量数据：
 

按照上面的方法刷新完后，历史表数据如下：
 

 

  1. spark-sql> select * from t_dw_orders_his order by orderid,dw_start_date;
  2. 1 2015-08-18 2015-08-18 创建 2015-08-18 2015-08-21
  3. 1 2015-08-18 2015-08-22 支付 2015-08-22 2015-08-22
  4. 1 2015-08-18 2015-08-23 完成 2015-08-23 9999-12-31
  5. 2 2015-08-18 2015-08-18 创建 2015-08-18 2015-08-21
  6. 2 2015-08-18 2015-08-22 完成 2015-08-22 9999-12-31
  7. 3 2015-08-19 2015-08-21 支付 2015-08-19 2015-08-20
  8. 3 2015-08-19 2015-08-21 支付 2015-08-21 2015-08-22
  9. 3 2015-08-19 2015-08-23 完成 2015-08-23 9999-12-31
  10. 4 2015-08-19 2015-08-21 完成 2015-08-19 2015-08-20
  11. 4 2015-08-19 2015-08-21 完成 2015-08-21 9999-12-31
  12. 5 2015-08-19 2015-08-20 支付 2015-08-19 2015-08-22
  13. 5 2015-08-19 2015-08-23 完成 2015-08-23 9999-12-31
  14. 6 2015-08-20 2015-08-20 创建 2015-08-20 2015-08-21
  15. 6 2015-08-20 2015-08-22 支付 2015-08-22 9999-12-31
  16. 7 2015-08-20 2015-08-21 支付 2015-08-20 2015-08-20
  17. 7 2015-08-20 2015-08-21 支付 2015-08-21 9999-12-31
  18. 8 2015-08-21 2015-08-21 创建 2015-08-21 2015-08-21
  19. 8 2015-08-21 2015-08-22 支付 2015-08-22 2015-08-22
  20. 8 2015-08-21 2015-08-23 完成 2015-08-23 9999-12-31
  21. 9 2015-08-22 2015-08-22 创建 2015-08-22 9999-12-31
  22. 10 2015-08-22 2015-08-22 支付 2015-08-22 9999-12-31
  23. 11 2015-08-23 2015-08-23 创建 2015-08-23 9999-12-31
  24. 12 2015-08-23 2015-08-23 创建 2015-08-23 9999-12-31
  25. 13 2015-08-23 2015-08-23 支付 2015-08-23 9999-12-31
 

订单1从20号-23号，状态变化了三次，历史表中有三条记录。
 

 

  1. //查看2015-08-22当天的历史快照，可以看出，和上面图中2015-08-22时候订单表中的数据是一样的
  2. spark-sql> select * from t_dw_orders_his where dw_start_date <= '2015-08-22' and dw_end_date >= '2015-08-22';
  3. 1 2015-08-18 2015-08-22 支付 2015-08-22 2015-08-22
  4. 2 2015-08-18 2015-08-22 完成 2015-08-22 9999-12-31
  5. 3 2015-08-19 2015-08-21 支付 2015-08-21 2015-08-22
  6. 4 2015-08-19 2015-08-21 完成 2015-08-21 9999-12-31
  7. 5 2015-08-19 2015-08-20 支付 2015-08-19 2015-08-22
  8. 6 2015-08-20 2015-08-22 支付 2015-08-22 9999-12-31
  9. 7 2015-08-20 2015-08-21 支付 2015-08-21 9999-12-31
  10. 8 2015-08-21 2015-08-22 支付 2015-08-22 2015-08-22
  11. 9 2015-08-22 2015-08-22 创建 2015-08-22 9999-12-31
  12. 10 2015-08-22 2015-08-22 支付 2015-08-22 9999-12-31
  13. Time taken: 0.328 seconds, Fetched 10 row(s)
  14. //查看当前所有订单的最新状态
  15. spark-sql> select * from t_dw_orders_his where dw_end_date = '9999-12-31'; 
  16. 1 2015-08-18 2015-08-23 完成 2015-08-23 9999-12-31
  17. 2 2015-08-18 2015-08-22 完成 2015-08-22 9999-12-31
  18. 3 2015-08-19 2015-08-23 完成 2015-08-23 9999-12-31
  19. 4 2015-08-19 2015-08-21 完成 2015-08-21 9999-12-31
  20. 5 2015-08-19 2015-08-23 完成 2015-08-23 9999-12-31
  21. 6 2015-08-20 2015-08-22 支付 2015-08-22 9999-12-31
  22. 7 2015-08-20 2015-08-21 支付 2015-08-21 9999-12-31
  23. 8 2015-08-21 2015-08-23 完成 2015-08-23 9999-12-31
  24. 9 2015-08-22 2015-08-22 创建 2015-08-22 9999-12-31
  25. 10 2015-08-22 2015-08-22 支付 2015-08-22 9999-12-31
  26. 11 2015-08-23 2015-08-23 创建 2015-08-23 9999-12-31
  27. 12 2015-08-23 2015-08-23 创建 2015-08-23 9999-12-31
  28. 13 2015-08-23 2015-08-23 支付 2015-08-23 9999-12-31
  29. Time taken: 0.293 seconds, Fetched 13 row(s)
 

实际业务中，有可能某一天的数据有问题，需要回滚或重做，这点有点麻烦，后续文章再介绍。
 


                

        

        

    

  


    

      

        

            

              
                
                  wer0735
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Hive拉链表日更新语句及其辅助理解

				
			

			

				

					ByteWhiz的博客
				

				

					09-20
					
					86
					
				

			

		

		

			
				
拉链表是Hive中常用的数据处理技术，用于将两个表按照时间维度进行关联，并获取正确的历史记录。通过使用拉链表，我们可以有效地处理维度表中包含历史记录的场景。本文介绍了Hive中拉链表的概念，并提供了一个示例来演示如何使用Hive查询语句进行拉链表日更新操作。通过创建视图和查询特定时间点的记录，我们可以获取当前有效的员工信息，并根据需要获取特定时间点的员工信息。希望这篇文章能够帮助你理解Hive中的拉链表概念和使用方法。如果你还有其他问题，请随时提问！

			
		

	



                

            
              



	

		

			

				
					
oracle 拉链表如何分区,关于数据仓库历史拉链表新更新方法的说明

				
			

			

				

					weixin_29233857的博客
				

				

					04-06
					
					1000
					
				

			

		

		

			
				
原始资料：数据仓库保留了大量的历史数据，这是区别于其他数据库的显著特点之一。历史数据能够使数据仓库重现任意时点的现场，对时间维度上的数据分析工作提供了重要的手段。保留历史数据最常见的办法就是使用历史拉链表。历史拉链表仅当生产数据发生变更时，才相应地发生变更，既能有效保留历史数据的变动信息，又不浪费存储空间。以数据仓库中每日增量更新的订单历史拉链表(假设表名为EVT_ORDER_HIST)为例，假设...

			
		

	



              


  
              

                


	

		

			

				
					
数仓拉链表超详细讲解（通俗易懂）

					
最新发布

				
			

			

				

					weixin_53709379的博客
				

				

					09-24
					
					1292
					
				

			

		

		

			
				
数仓拉链表超详细讲解（通俗易懂）

			
		

	





	

		

			

				
					
拉链表数据的更新

				
			

			

				

					weixin_49196517的博客
				

				

					11-21
					
					470
					
				

			

		

		

			
				
拉链表

			
		

	



		

			
		



	

		

			

				
					
拉链表的更新思路

				
			

			

				

					lunan的博客
				

				

					01-25
					
					728
					
				

			

		

		

			
				
拉链表：t_chain(id, status, start_date, end_date)

流水表：t_flow(id, status, start_date)

临时拉链表：t_chain_tmp(id, status, start_date, end_date)



拉链表的更新思路：

1、针对流水表t_flow中start_date是“当日”的记录进行处理

2、因为流水表中一个id可能先后有多个状态，先将流水表中非最终状态的记录插入t_chain_tmp，起止日期都是“当日”

3、原拉链表.

			
		

	





	

		

			

				
					
数据仓库历史数据存储 - 拉链表

				
			

			

				

					upupfeng的博客
				

				

					08-01
					
					3003
					
				

			

		

		

			
				
假如我们有一个账号account表，我们需要在hive中存储（数据是从线上mysql读取binlog同步来的，是有明细变化的）
account表结构：account_id, username, followers_count, modified_at

我们经常使用的存储方式有快照表和流水表。快照表就是以时间为粒度（比如天），生成每个时间的全量数据快照；流水表则是记录数据的每一条具体的改变。
现在...

			
		

	





	

		

			

				
					
Hive下数据仓库历史拉链表如何加工，分区键该如何选择

				
			

			

				

					qq_35921007的博客
				

				

					04-04
					
					3162
					
				

			

		

		

			
				
1 缓慢变化维

说到历史拉链表，首先得说下缓慢变化维。

在现实世界中，维度的属性并不是静态的，而是随着时间的变化而变化，这也体现了数据仓库的特点之一，是反映历史变化的。相对于数据增长较为快速的事实表，维度的变化是相对缓慢的。

在维度建模理论中，处理缓慢变化维有三种方式：

新的维度属性直接覆盖旧的维度属性，不保留历史数据；
	增加新的维度行（需要生成代理键来支持），维度变化前的事实关联...

			
		

	





	

		

			

				
					
关于数据仓库中变化历史数据处理方式：全量表、快照表、拉链表

				
			

			

				

					我玩的很开心的博客
				

				

					09-14
					
					6615
					
				

			

		

		

			
				
关于数据仓库中变化历史数据处理方式：全量表、快照表、拉链表一、全量表二、快照表三、拉链表
对于数据仓库中变化的历史数据存储，一般有三种方式：全量表、快照表、拉链表
一、全量表
直接全量导入，覆盖旧数据，保存每天所有的最新状态的数据
优点： 效率比较高,可以查看最新数据
缺点： 查看不到历史数据
二、快照表
按日分区，记录截止数据日期的全量数据，一天一个分区
优点：   效率比较高,可以查看最新数据也可以查看历史数据
缺点：  占用的磁盘空间比较大
例： 有一个user表，每天更新上传昨天的最新数据，比如是今

			
		

	





	

		

			

				
					
数据仓库拉链表

				
			

			

				

					02-14
				

			

		

		

			
				
-- 拉链表介绍
在数据分析中有时会需要维护一些历史状态，比如订单状态变化，评分变化，为了保存下来这些状态变化的路径，可以同过拉链表实现

-- 使用场景
1、数据量比计较大，但业务要求每次需要查询全量历史，每天存储一份全量数据太占用存储空间
2、记录变更不大，比如只有装填和更新时间有变动，其他字段都不变

			
		

	





	

		

			

				
					
数据仓库之拉链表（二）使用拉链表更新数据

				
			

			

				

					吃提子要吐皮的博客
				

				

					04-23
					
					3970
					
				

			

		

		

			
				
第一章记录了拉链表的概念，通过例子对拉链表有直观的具体的理解
数据仓库之拉链表（一）概念理解
接下来记录历史拉链表的更新方法：
转载地址：http://lxw1234.com/archives/2015/08/473.htm
前提假设：


数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据；


如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史；


订单状态包括三个...

			
		

	





	

		

			

				
					
数据仓库之拉链表的更新方法

				
			

			

				

					fuyun6363的博客
				

				

					02-24
					
					4046
					
				

			

		

		

			
				
目录前言创建模拟数据库和表第一种情况：stg层中的order表是增量抽取最新数据（插入方式是先truncate，再增量插入最新数据）插入第一批模拟数据执行拉链操作脚本更新stg层order表数据再次执行脚本后查看ods层order表数据情况第二种情况：stg层的数据是全量抽取最新数据（先truncate表，再全量插入最新数据）清空stg和ods层order表的数据再插入模拟数据执行脚本查看ods层...

			
		

	





	

		

			

				
					
如何在Hive中更新拉链表

				
			

			

				

					机械工程跑路哥
				

				

					08-28
					
					1715
					
				

			

		

		

			
				
拉链表有start_time和end_time字段用来记录每条数据的生命周期；用来记录历史数据，记录一个事物从开始一直到当前状态的所有变化的信息。使用union all 进行上下合并（union会去重）；即只需要更新的数据处理，让数据过期；目的是将需要更新的数据置为过期；不等于‘9999-12-31’：包含新增和更新的数据。..................

			
		

	





	

		

			

				
					
拉链表--实现、更新及回滚的具体实现

				
			

			

				

					m0_51063580的博客
				

				

					11-30
					
					1653
					
				

			

		

		

			
				
1 背景

　　本文前面的内容时参考了'lxw的大数据田地',具体可查看最后的'参考文章'，个人加入了'拉链表的回滚'部分的内容sql，如果有实践的，可以互相交流学习，谢谢

　　在数据仓库的数据模型设计过程中，经常会遇到这样的需求：

　　　　1.1 数据量比较大;

　　　　1.2表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;

　　　　1.3 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时.

			
		

	





	

		

			

				
					
解决增量新增及更新中的拉链表

				
			

			

				

					l5261_1625的博客
				

				

					05-12
					
					508
					
				

			

		

		

			
				
解决增量新增及更新中的拉链表

			
		

	





	

		

			

				
					
数据仓库之拉链表

				
			

			

				

					HW_870754395的博客
				

				

					06-03
					
					4861
					
				

			

		

		

			
				
数据仓库之拉链表一、常用表介绍1. 全量表2. 增量表3. 拉链表4. 流水表5. 拉链表 VS 流水表二. 拉链表适用情况及优点1. 适用情况2. 优点三. 拉链表举例（订单域）1. 订单表结构2. 为实现订单表存储，常用解决方案及存在问题（1）快照表（2）全量历史表==（3）历史拉链表==
一、常用表介绍
1. 全量表
每天的所有的最新状态的数据
2. 增量表
每天的新增数据
3. 拉链表
维...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值