数仓规范随记

于 2023-09-19 15:14:01 发布
阅读量81 收藏
点赞数
分类专栏： 总结 文章标签： 大数据
本文为博主原创文章，转载请显著位置标明出处，未经博主允许不得用于商业目的。
本文链接：https://blog.csdn.net/qq_44831907/article/details/133029888
版权

数仓分层

以《大数据之路：阿里巴巴大数据实践》中五层(ods/dwd/dws/dim/ads)分类为基础划分,有序列表记录是分层大类,分层大类下的无需列表是分层小类或者说真正落地的:

  1. ods: 近源层/贴源层/数据Stage层
    • stgb: 从业务系统同步过来的原始数据,不保留历史数据
    • stgd: 类似stgb,但利用「拉链表」保留历史数据
  2. dw: 数仓
    • dwd: 数据明细层（Data Warehouse Detail）,将相同主题的数据冗余处理，汇集到一张表中，提高可用性「主题宽表」
      • 实际使用中也会在该层进行简单的数据清洗与转滤
    • dwm: 数据中间层（Data WareHouse Middle）,对数据做轻度聚合，提升公共指标的复用性
      • 在 DWM 层先计算出多个小的中间表，然后再拼接成一张 DWS 的宽表
    • dws : 数据服务层（Data WareHouse Servce）,按照业务划分，生成大宽表，用户后续报表/业务查询、OLAP分析
      • dws层的表实际中需要推送到关系型数据库中,所以dws附带一层
  3. ads: 未启用

命名规范

  • td: table dimension 维度表
  • tm: table master 主数据表
  • tt: table transaction 事实明细表
  • ta: table aggregation 聚合结果表
  • tc: table code 码表
mizuhokaga
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AJAX 随记
10-29
在本篇随记中，我们将探讨如何结构化地创建和使用一个基础的AJAX实现。 首先，我们需要创建一个AJAX对象。在不同的浏览器环境下，XMLHttpRequest对象的创建方式有所不同。在现代浏览器中，我们可以通过`new ...
c++随记.docx
09-11
学习c++过程中的一些知识点随记，我感觉重要的就稍微记了一下，比较简略，但是快速的阅读的话可以提醒自己想起那一部分的知识点。在复习c++知识点的时候，有些帮助。
随记统一响应结果和全局异常类
最新发布
01-30
个人练习使用idea编写的项目后，总结的东西
java随记等
05-22
根据提供的文件信息，我们可以分析出该段代码定义了一个名为 `UserRoleType` 的 Java 枚举类，用于描述不同用户角色的权限类型。接下来，我们将详细解释这个枚举类中的各个元素及其含义，并尝试理解其中的一些注释...
c#随记.docx
08-25
CTS定义了.NET框架下的通用类型系统，规定了数据类型的标准，而CLS则是.NET语言间交互的一套规范，确保了不同语言之间的兼容性。命名空间在C#中用于组织类库，提供了模块化的代码管理。 在C#中，IO操作是通过文件...
vue动态拼接图片路径、img地址拼接问题 [模板字符串]
热门推荐
mizuhokaga的博客
06-03 1万+
写vue写的不多,记录一下这个小坑 知识点:es6模板字符串${} (一)需求: 根据后端传的json数组的某一字段来拼接img的src路径,动态的绑定img标签的图片,图片来源本地文件夹,如果直接利用+和{{}}来拼接路径,该路径会被加载器解析成字符串 ↓json格式:根据不同的e_status拼接不同的图片 ↓本地文件夹的图片(titleicon.ico没有使用不用管) (二)解决方案 利用ES6的模板字符串进行拼接操作 模板字符串使用反引号 (`) 来代替普通字符串中的双引号和单引号。模板字
在非对称加密算法RSA中，假设“大”素数p=5，q=11，试给出计算过程。
mizuhokaga的博客
07-14 4174
文章目录1. 题目在非对称加密算法RSA中，假设“大”素数p=5，q=11，试给出计算过程。2. 分析步骤3. 抄作业简单粗暴看这里4. 参考 1. 题目在非对称加密算法RSA中，假设“大”素数p=5，q=11，试给出计算过程。 知识点： RAS计算方法 辗转相除法计算私钥d 快速指数计算方法 2. 分析步骤 先计算n=p*q，φ(n)=(p-1)(q-1) n=5*11=55,φ(n)=4*10=40 选取一整数e，满足1<e<φ(n),且e与φ(n)互质。 不妨选取e=17，其
Hive中备份分区表
mizuhokaga的博客
05-18 2685
0 接手前辈的一个项目有新需求，虽然ods层表是全量采集的不过为了稳妥起见备份原始ods层的表 1.备份分区表 旧表名是kpi，先like完全复制原表结果生成bak后缀的备份表 create table if not exists kpi_bak like kpi 我倾向于用like 而不是as select。like虽然只能复制表结构不能带数据，但是可以完全复制表结构（包括分区），备份数据后所占空间和原表差不多。 as select 备份表可以复制表结构和数据，语法简单。缺点是备份表的分区字段会变
JDK1.8中JVM堆中新生代三部分比例不是8：1：1的问题探讨
mizuhokaga的博客
01-28 1817
0.结论 JDK1.8中JVM堆中新生代三部分比例不是8：1：1的问题来源于： 1.JDK1.8中的默认GC UseParallelGC 会自动开启 UseAdaptiveSizePolicy 「自适应大小策略」，会导致自动调整新生代各区域大小； 2.但使用 关闭命令：-XX:-UseAdaptiveSizePolicy 无法关闭该策略，原因未知； 3. 如需要看到8：1：1的默认比例方法如下： -XX:SurvivorRatio=8 使用CMS等默认关闭 AdaptiveSizePolicy 的GC算法
jQuery动态添加与删除表格行【append方法与on方法与eq方法】
mizuhokaga的博客
02-20 1548
基于jquery版本:jquery-1.10.1.js 去实现表格的 动态添加和动态删除(看js代码直接点下面链接) 需求: 将表单的值提交至表格,并且可以删除 html代码很简单: <body> <h1>添加用户</h1> <div id="box"> name:<input type="text" id="user"/> ...
记录一次hive表中 string字符串写入int字段引起的小bug
mizuhokaga的博客
11-03 1489
string转int
大一c语言课程设计雇员管理系统easy version(非链表)
mizuhokaga的博客
07-16 1484
大一第二学期c语言课程设计自己做的雇员管理系统,由于对链表不是特别熟悉,所以用结构体数组来储存信息,由于才疏学浅,只有添加&删除&更改&查询&显示雇员信息这5个基本功能,然后几个小点: 密码使用了掩码登录,但是手抖输错了密码的某位是无法删除的 利用文件来存储雇员数据 #include <stdio.h> #include <stdlib.h&g...
jquery禁用与恢复a标签和按钮功能
mizuhokaga的博客
04-17 1389
需求:点击一个a标签/按钮需要禁用几秒,计时结束后恢复其相应功能 a标签: 核心代码 禁用: $(’#elementName’).removeAttr(‘href’);/去掉a标签中的href属性 $(’#elementName’).removeAttr(‘onclick’);//去掉a标签中的onclick事件 恢复: $(’#elementName’).attr(‘href’,‘url’); ...
不满意Markdown 原生代码块样式？不妨试试这个美化代码截图工具~~
mizuhokaga的博客
12-27 1374
痛点 平时写文章有时候需要分享代码，而原生代码块样式和网站上的代码块往往不能满足需要。而网上往往看到的技术文章的代码片段又美观又清晰（如图）。 这是MAC系统的vscode下面的Dracula这个主题的风格的样式，但我们可以通过美化代码截图工具来获得相同的效果。 网站 在线地址是 https://carbon.now.sh/ 自由选择样式后，点击 Export即可导出。 ...
基于阿里云的短信接口的工具类及三个jar包下载地址
mizuhokaga的博客
12-17 1234
https://blog.csdn.net/Mr_zzr/article/details/100168118 上面这个写的很好! 三个jar包下载地址在我的github: https://github.com/mizuhokaga/aliyunShortMessage ** 注意点 **: 1.必须保证阿里云账户有钱,不然会抛错误 2.三个jar包缺一不可,且必须版本号是一致 aliyun-...
eclipse自定义代码块折叠
mizuhokaga的博客
07-09 1058
前言： 本人Eclipse版本：2020-06（4.16.0） 一、下载EclipseFolding 由于我的eclipse版本比较高所以使用的是update site github 下载地址 把这个1.0.6的jar包下载下来就行了，其他是多余的 二、导入 将插件放在Eclipse安装目录eclipse\dropins下面， 重启eclipse 三、设置相关 点击Window > Preferences > Java >Editor>Folding 在select folding
java基础作业:猜拳游戏(面向对象思想)
mizuhokaga的博客
08-16 958
最近上了点Java的课程,有个作业是以面向对象的思想写个猜拳的游戏,代码有些辣鸡,请多包涵 效果: 有些功能我懒得添加: 1.电脑类的名字我写死= = 电脑类: package fingGuess; import java.util.Random; public class Computer { public String cname = "人工智障"; private int Score =...
2022年12月13日 收到离职通知了 && 之后的计划
mizuhokaga的博客
12-13 921
离职了
安装 DataSphereStudio-Doc 报错：Invalid default value for ‘update_time‘
mizuhokaga的博客
12-15 894
0.完整报错： 安装 DataSphereStudio-Doc，在安装Linkiss时，报错 ERROR 1067 (42000) at line 32 in file: '/usr/local/dss_linkis/linkis/db/linkis_ddl.sql': Invalid default value for 'update_time' Failed to + source linkis_ddl.sql ***********Error: failed to + install Linkis
随记洗牌发牌的C语言程序
06-06
以下是一个简单的随机洗牌发牌程序的C语言代码： ```c #include <stdio.h> #include <stdlib.h> #include <time.h> #define DECK_SIZE 52 #define SUIT_SIZE 13 int main() { int deck[DECK_SIZE]; int i, j, temp; // 初始化牌堆 for (i = 0; i < DECK_SIZE; i++) { deck[i] = i; } // 随机洗牌 srand(time(NULL)); for (i = 0; i < DECK_SIZE; i++) { j = rand() % DECK_SIZE; temp = deck[i]; deck[i] = deck[j]; deck[j] = temp; } // 发牌 printf("Player 1's hand:\n"); for (i = 0; i < SUIT_SIZE; i++) { printf("%d ", deck[i]); } printf("\n\n"); printf("Player 2's hand:\n"); for (i = SUIT_SIZE; i < SUIT_SIZE * 2; i++) { printf("%d ", deck[i]); } printf("\n\n"); printf("Player 3's hand:\n"); for (i = SUIT_SIZE * 2; i < SUIT_SIZE * 3; i++) { printf("%d ", deck[i]); } printf("\n\n"); printf("Player 4's hand:\n"); for (i = SUIT_SIZE * 3; i < DECK_SIZE; i++) { printf("%d ", deck[i]); } printf("\n\n"); return 0; } ``` 这个程序首先初始化了一个52张牌的牌堆数组，然后使用`srand`和`rand`函数来进行随机洗牌。最后，程序按照四个玩家的顺序，从洗好的牌堆中取出各自的牌，输出给玩家。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值