仓库集市层数据测试环境某一日重跑方案

最新推荐文章于 2021-12-16 16:45:14 发布
最新推荐文章于 2021-12-16 16:45:14 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： Solutions 文章标签： 测试 dependencies table 数据仓库 存储 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nsj820/article/details/6342865
版权

在进行数据仓库项目维护的过程中，有时候下游系统会要求仓库重新提供集市层某一日数据的情况。为了简便、可行，经常采用将ODS源表从生产环境上导到测试环境中，然后在仓库的测试环境中，跑出下游系统所需要的某一日的集市层数据。

对于这一方案，我们在各个环境有如下几点需要注意：

从生产环境的源取ODS数据根据数据加载情况的不同，会有如下要求：

1

最低0.47元/天 解锁文章
nsj820
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
历史拉链表混乱日期跑批的个别数据重跑方案
nisjlvhudy的专栏
01-31 5968
--接文：《仓库拉链算法的数据恢复机制(重跑中间任意一天保证数据的准确完整性) 》；参考博文地址：http://blog.csdn.net/nsj820/article/details/6096682 本文是在《仓库拉链算法的数据恢复机制(重跑中间任意一天保证数据的准确完整性) 》基础上，对仓库拉链算法的进一步思考；描述了历史拉链表个别数据需要重跑的解决方案。 思考：原文曾说还未考虑用此种方法
数据仓库系统数据维护(部分表重跑)的一个方案
nsj820的专栏
09-15 2053
<br />1、需要跑批的日期维护表<br />create_date_list_table.sql<br /> -- Create table create table EDW_DATE_LIST ( ID INTEGER, DATE_CUR VARCHAR2(8) ) ; <br />2、插入日期测试数据<br />插入7、8日期.sql<br /> truncate table Edw_Date_List; insert into Edw_Date_List (ID
数据仓库——数据重刷机制
妖精小狗的博客
12-10 2277
在大数据处理、分析中存储一直都是基石，但是有一个问题是即使存储不挂，数据也不一定就是准确的；如果存储挂了，数据一定不准确，此时就需要校验数据是否正确，并且将数据修改正确正确的机制。
如何数据重跑
没有合适的昵称
09-15 3275
离线任务,数据重跑是很正常的事情,比如程序跑着跑着就挂掉了,比如跑出来的数据不正确,需要检查后重跑 但是重跑的时候,需要注意的地方是,会不会有数据已经写入hbase了,或者hive的当天分区是否已经存在数据了 hive有数据的话,这点倒不用太在意,因为在导数据之前,我们通常会先删除当天的文件数据(不删会报错): hadoop fs -rm -r /user/hive/warehouse/web.d...
使用Oozie中workflow的定时任务重跑hive数仓表的历史分期调度
weixin_30709061的博客
01-07 562
在数仓和BI系统的开发和使用过程中会经常出现需要重跑数仓中某些或一段时间内的分区数据，原因可能是：1.数据统计和计算逻辑/口径调整，2.发现之前的埋点数据收集出现错误或者埋点出现错误，3.业务数据库出现人为修改历史数据的情况。当出现第一和第二种情况的时候需要对数仓各层使用到该数据源的表及依赖这些表的数据模型和表的出现问题时间起的分区都重跑一遍，出现第三种情况的时候需要从ods层(数据同步导入层)及...
数仓-开发规范
DCHAO的博客
01-07 1093
数据模型规范 层 表 测试表、中间表 字段 分区字段 任务 脚本 注释 数据操作规范 对表数据或者结构需要修改的时候，必须先建一个备份表，以后缀 _BAK_20170907 备份，处理好以后再删除备份表。特别是猛犸大数据平台的线上和开发环境是共用数据和表，必须保证数据不能丢失。 表的主题规范 指标 一致性 数据质量管理 表级别监控，在每个etl任务下添加数据质量节点，对表中指标或者属性添加对应的规则判断，对于核心规则，直接报错阻止污染下游，对于预判规则，短信告警但是不阻止任务继续往下游执行； 对于复杂指标，
数据集市介绍，详细的架构方案
04-01
数据集市的介绍、详细的架构方案，挺实用
数据仓库与数据集市建模
02-24
维度建模(dimensionalmodeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。它本身属于一种关系建模方法，但和之前在操作型数据库中介绍的关系建模方法相比增加了两个概念：表示对分析主题所属类型的...
2-数据集市建设架构方案.pptx
06-30
数据集市建设架构方案
测试数据集市
02-15
测试数据集市
数据仓库架构落地方案.pptx
05-16
本文将详细解析数据仓库架构落地的关键步骤、数据处理过程以及小数据场景下的解决方案。 首先，数据仓库架构的落地可以分为不同的演进阶段。第一阶段是业务线上化，通过建设作业系统，将线下业务流程转化为线上操作...
Hive分区表增加字段重跑数据，为何增加的字段无数据
m0_50360098的博客
12-16 2007
项目场景： Hive分区表增加字段重跑数据，为何增加的字段无数据 问题描述： 得到一个需求，需要在原来的表上增加字段，增加字段，ok很正常，直接add columns(xxx string)，然后就开始重跑数据了，跑完后发现其他数据正常，就刚添加的字段无数据。 原因分析： 提示：这里填写问题的分析： 例如：Handler 发送消息有两种方式，分别是 Handler.obtainMessage()和 Handler.sendMessage()，其中 obtainMessage 方式当数据量过大时，由于
调度系统批量重跑任务的思考
北方的大数据之路
01-29 2688
在调度系统中总会遇到这种场景，上游任务出现数据问题，数据缺失，数据重复。这些问题出现的原因有很多，比如上游业务问题，升级某一调度组件测试覆盖不全面，代码bug等。 出现问题的原因，问题的修复，系统针对问题的升级改造，其实这一整套的链路很复杂的逻辑。 本文从几个方面对这类问题进行一些思考； 问题发现 在DQC规则报警没有全面覆盖的场景下，数据问题的发现大部分场景都是依靠业务方对业务的感知，或者线上用户的投诉的反馈。对于kpi任务而言，如果在上游任务执行初期监测的到，就可以立即停止链路调用，去梳理其他业务是否有
数据仓库(三)之架构篇
热门推荐
知行合一
09-13 3万+
概述 架构是数据仓库建设的总体规划，从整体视角描述了解决方案的高层模型，描述了各个子系统的功能以及关系，描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么，架构就是回答怎么做的问题。 架构的价值 数据仓库架构 数据仓库的核心功能从源系统抽取数据，通过...
数据集市层面重构的一些再补充
weixin_39471936的博客
02-29 398
优化目的主要分为以下几点： 缩短画像整体的SLA。 减少中间表层级。 减少中间表数量。 减少计算资源。 减少存储资源。 方便后续迭代。 避免后续下游使用歧义，减少case。 在重构过程中，可以从以下2个层面进行： 数据治理层面 表结构——在非必要情况下，尽可能不对表结构和字段名称进行更改。最大限度对下游使用无感知，以达到重构成本最低。 字段命名——除去命名极其不规范，或对下游极易造成歧义的字...
全量和增量数据
Iron
04-23 3万+
全量数据 就是表中所有的数据； 增量数据 是上次导出之后的新数据： 全量和增量数据应用场景之一是：对于数据的备份。（再特定的时间点进行备份时候产生全量数据和增量数据备份的方法）。 数据同步一般分为两种方式：全量和增量。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值