收藏模板：数仓ods/dws/dwd/adm大数据测试设计模板

最新推荐文章于 2024-08-09 16:39:42 发布
最新推荐文章于 2024-08-09 16:39:42 发布
阅读量1.6k 收藏 10
点赞数 2
分类专栏： 软件测试全套常用模板 文章标签： hbase hadoop 测试用例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/unit2006/article/details/119044081
版权

 

测试大类测试子类型
发散数据不唯一，相同主键存在1条以条记录(DIM\DWS\ADM层)
逻辑合规性违背业务场景，如:回款金额大于创收
业务合规性如:创收、回款负数
总量总量级（不分地区总量:ODS\DWD\DWD\ADM\erpADM）
分量分量级（按地区总量:ODS\DWD\DWD\ADM\erpADM）
波动率T分区和T-1分区波动率大于阈值(阈值:自定义)
维度为空维度为空（地区、事业部组织、组织、项目）
一致性同指标,不同时间维度(年表\季表\月表\周表,相同时间段)
同指标,不同粒度（如:认购套数，地区、城市、区县、项目）
iBigder
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据实践之路-数据仓库-数据开发自测模板
数据包工头的博客
01-12 749
在实际的数据开发过程中，数据测试是我们的痛点，如果没有良好的标准与测试方法，那么消耗掉的不只是我们的数据开发的成本，甚至更严重的是数据质量问题，经过本人多年的实践经验，严格按着一下模板去测试，可以解决我们再开发上95%的问题。特别是要注意下，关于指标可累加与不可累加问题。 1、概览 目的：可以清楚的知道哪些表验证已经OK，哪些还存在问题。 字段信息： 序号 表名 描述 是否通过 重要程度 备注 　 　 　 　 　 　 2、数据.
数仓建模—指标体系
weixin_42526326的博客
12-20 2281
数仓建模—指标体系指标体系指标建设过程中遇到的问题指标建设方法论北极星指标人货场指标体系OSM+UJM 模型OSM+ AARRR海盗模型指标分级方法指标的构成指标分类简单计数型指标复合型指标基础指标衍生指标指标分级公司战略层面指标业务策略层面指标业务执行层面指标如何设立指标体系为什么要建立数据指标体系如何建立指标体系 OSM 模型知乎的例子滴滴的例子提高GMV(Gross Merchandise Volume)非标住宿指标衡量的是什么如何有效衡量“什么”如何衡量指标的好坏明确业务目的 确定核心指标工具类业务
数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS
qq_73181349的博客
08-01 1084
数仓分层，数据源层：ODS（Operational Data Store），数据仓库层：DW（Data Warehouse）、数据明细层：DWD（Data Warehouse Detail）、数据中间层：DWM（Data WareHouse Midddle）、数据服务层：DWS（Data WareHouse Service）、 数据应用层：ADS（Application Data Service）、 维表层：DIM（Dimension）
大数据测试 - 数仓测试
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
12-14 3411
对于数据仓库的测试来说底层的系统会有很多有自建的集群使用 spark 或者 flink 测试，也有很多直接使用云厂商的产品比如 datworks 等等，再这里我想分享下抛开环境，只对数据仓库测试的一些小心得。
【数据仓库】指标体系&汇总模型设计
chbxw
03-09 1415
指标体系 汇总模型设计
详解数仓分层设计架构 ODS-DWD-DWS-ADS
最新发布
hellozhxy的博客
08-09 447
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
谈笑间学会数仓-分层架构
阿尼古
08-06 2253
谈笑间学会-数仓分层架构 1、数据仓库 1-1、什么是数仓呢？ ​ 数据仓库（Data Warehouse）简称DW或DWH，是数据库的一种概念上的升级，可以说是为满足新需求设计的一种新数据库，而这个数据库是需容纳更多的数据，更加庞大的数据集，从逻辑上讲数据仓库和数据库是没有什么区别的。 ​ 为企业所有级别的决策制定过程，提供所有类型数据支撑的战略集合，主要是用于数据挖掘和数据分析，以建立数据沙盘为基础，为消灭消息孤岛和支持决策为目的而创建的。 1-2、为什么需要数据仓库？ ​
数据产品_数据中台02_数仓模型和架构
andakiwukawa的博客
09-13 983
名词解释 一些必须掌握的专有名词 基础层-ODS（Operational Data Store-操作型数据存储） 未经过加工处理的原始数据：记录事实的唯一版本，业务系统产生的原始数据，原封不动的同步到数仓。 中间层-CDM\EDW（Enterprise Data Warehouse-企业级数据仓库，Common Data Model，公共维度模型层） 数仓核心意义，在中间层进行加工整合。 数据域：数据管理和数据整合的数据抽象集合。数据域相对稳定，主要用于中间层建设。 • dwd-明细整..
数据仓库—stg层_数据仓库中的ODS DW DM理解
weixin_39610759的博客
12-19 4672
1. DW1.1 简介data warehouse(可简写为DW或DWH)数据仓库,是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”,而是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础,主要应用于OLAP(On-Line Analytical Processing),支持复杂的分析操...
大数据之路：阿里巴巴大数据实践
qq_27639777的博客
08-16 6293
第1章：总述 如果说在IT时代是以自我控制、自我管理为主，那么到了DT（Data Technology）时代，则是以服务大众、激发生产力为主。阿里巴巴大数据系统体系架构主要分为数据采集、数据计算、数据服务和数据应用四大层次。 第2章：日志采集 阿里巴巴的日志采集体系方案包括两大体系：Aplus.JS是Web端（基于浏览器）日志采集技术方案：UserTrack是APP端（无线客户端）日志采集技术方案。 2.1 浏览器的页面日志采集 浏览器的页面型产品／服务的日志采集可分为如下两大类。 页面浏览（展现）日志
大数据物流项目：主题及指标开发之如何对Kudu表数据分析【离线报表分析（1个主题）】（十）
Maynor的博客
05-28 1241
Logistics_Day10：主题及指标开发 ​ 主要讲解：实时ETL转换开发，编写结构化流（StructuredStreaming）程序，实时从Kafka消费数据，进行ETL转换处理，最终保存到Ku.
数据仓库模型模板
01-17
数据仓库体系全套模板（命名+事实表+维度表+业务表+指标体系+整体设计）（6份）.zip
10-13
数据仓库体系全套模板，共6份，包括命名规范、事实表梳理、维度梳理、业务梳理及标体系梳理等。 模板-命名规范 模板-事实表梳理 模板-维度梳理 模板-业务梳理 模板-指标体系梳理 模板-数据仓库整体设计方案
ODS 系统调研模板
10-11
文档提供了需求调研时问题跟踪的模板。需要的同学下载使用吧，很好用的
数据仓库InfoBright测试报告
WEBCODE
12-30 180
<!-- [if gte mso 9]><![endif]--><!-- [if gte mso 9]><![endif]--><!-- [if gte mso 10]><style> <!-- table.MsoNormalTable {font-size:10.0pt; font-family:"Tim
04.数据仓库数据规范模板
HelloWowofei的博客
09-17 334
表示信息实体之间的聚合关系，即箭头指向的实体包含了其他实体，被包含的实体是箭头所指向实体的一个组成部分，比如一辆汽车包含发动机、车身、轮胎等。如：在上面数据元“广告名称”中，“名称”是“广告名称”的表示词，由于表示词“名称”与特性词“名称”语义重复，因此删去一个冗余词“名称”。” 表示信息实体之间的泛化关系，即箭头指向的实体是其他实体的父类，其他实体继承自箭头所指实体，因此具有该实体的全部属性。如：在数据元“企业类型代码”中，“企业”为对象词，“类型”是该数据元的特性词，“代码”是该数据元的表示词。
mysql存储过程制造测试数据模板总结
马小胖测试历险记
03-09 266
一、日期获取 1、获取昨日日期数据 select date_sub(curdate(),interval 1 day) 2、获取本周周一日期数据 select date_format(subdate(curdate(),if(date_format(curdate(),'%w')=0,7,date_format(curdate(),'%w'))-1),'%Y%m%d') 3、获取上月日期数据 SELECT CONVERT(LEFT(period_add(CURDATE(),1), 6), UNS
数仓项目笔记梳理
小小鱼
06-07 7683
文章目录1、上传表2、使用SparkSQL对问题数据进行探索和处理探索思路：思路1，对空值进行处理：思路2，对重复值进行去重：思路3，行转列：思路4，规范化字段内容2.1、User表2.2、events表2.3、user_friends表2.4、event_attendees2.5、trains表3、kafka多线程并行写进不同分区4、Flume采集数据流向kafka4.2、依次创建kafka中对应主题4.3、打开消费者，执行对应flume-ng命令4.4、查看最终flume条数4.5、flume脚本案例(
数据仓库的架构
weixin_46714809的博客
10-19 174
1 源数据层：源数据层就是指源系统的数据，数据类型包括结构化数据（按照方式存储的数据），半结构化和非结构化数据（一般是互联网行为数据、语音、影像等数据）。DWD：明细数据层，是业务层与数据仓库的隔离层，这一层主要是用来解决数据质量的问题，比如有的数据有空格，回车，或者数据不完整等。源数据层----数据交换层----数据集成层-----数据服务层-----数据交换层-----数据应用层----用户。3 数据集成层：数据集成层包括了ODS，DWD，DWS，BDM，ADM。
ods/dwd/dws/ads
08-24
ODS、DWD、DWS、ADS是数据仓库中的不同层次，具有不同的功能。 ODS（Operational Data Store）层是操作型数据存储层，主要用于接收来自各个业务系统的原始数据，进行数据清洗和规范化的操作，以保证数据的准确性和一致性。ODS层将原始数据进行处理后，可以提供给其他层次使用。 DWD（Data Warehouse Detail）层是数据仓库的详细数据层，主要用于存储清洗后的数据，并进行一些轻度的汇总和聚合操作。DWD层的数据可以用于各种分析和报表的生成。 DWS（Data Warehouse Summary）层是数据仓库的汇总数据层，主要用于更高层次的数据汇总和聚合。DWS层的数据已经进行了更深层次的数据汇总和计算，可以用于生成更高级别的报表和分析。 ADS（Application Data Service）层是数据应用层，主要用于提供特定应用场景下的数据服务。ADS层可以根据需求生成各种报表结果，并提供给应用系统或用户使用。 总结来说，ODS层主要是对原始数据进行清洗和规范化，DWD层主要是对ODS层的数据进行轻度的汇总和聚合，DWS层主要是对DWD层数据进行更高级别的汇总和聚合，ADS层则是提供特定应用场景下的报表结果。不同层次的数据处理和汇总操作，可以满足不同的数据使用和分析需求。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS](https://blog.csdn.net/moose_killer/article/details/123957086)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值