数仓分层设计及数据同步问题，，220728，，，，

最新推荐文章于 2023-06-09 19:30:32 发布
最新推荐文章于 2023-06-09 19:30:32 发布
阅读量364 收藏 1
点赞数 1
分类专栏： Python 文章标签： java servlet junit
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48941160/article/details/126027479
版权
本文讨论了Hadoop容器的常见问题，全量和增量数据同步策略，包括快照表、全量表、增量表和拉链表的使用。提到了维度表的设计，包括维度退化及其优缺点，并介绍了Hive的表与HDFS的映射关系以及自动化建表依赖于Sqoop。同时，文章还提及了Linux重定向和Shell脚本在数据处理中的应用。
摘要由CSDN通过智能技术生成

制作技术架构图？？？？？？？？？？？？

Hadoop容器：最容易遇到进程没有启动成功的问题

50070

8088

 

 

 

 

 全量同步、全量覆盖、新增同步、新增及更新同步

快照表、全量表、增量表、拉链表

 

 >           >>

 覆盖和追加

重定向：重新定义一个新的方向

>：输出重定向

< ：输入重定向

 

ephemeral：短暂的;

 

 文件本身算作一个副本，，

 combiner，spark  map预聚合，

 

 

join，reduce 中shuffle join，

 Support

 约束

主键、唯一、非空、外键、默认值

 

最低0.47元/天 解锁文章
啊六六六
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
数仓(三)：分层设计 ODS-DWD-DWS-ADS
.
11-27 2万+
一、数仓建模的意义，为什么要对数据仓库分层？ 只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...
数仓建模—美团配送数据治理实践
最新发布
05-28 5万+
数据地图作为元数据应用的一个产品，聚焦于数据使用者的“找数”场景，实现检索数据和理解数据的“找数”诉求。我们通过对离线数据集和在线数据集的元数据刻画，满足了用户找数和理解数的诉求，通过血缘图谱，完成物理表到产品的血缘建设，消除用户人肉评估的痛苦。在数据标准方面，我们制定了业务标准、技术标准、安全标准、资源管理标准，从而保障了数据生产、管理、使用合规。在数据架构方面，我们通过桥接表、时间刻度化、业务口径下沉等手段提升模型灵活性，并保障数据一致性，消除跨层引用和模型冗余等问题。
插值法补齐缺失数据_[建模教程] 新手进阶建模（8）数据的预处理 第一部分
weixin_31960565的博客
12-16 626
数据预处理有四个任务，数据清洗、数据集成、数据 变换和数据规约 本节先讲数据第一个：数据清洗数据清洗包括1.缺失值处理 2.异常值处理; 其中缺失值的处理有3种：不处理(做建模铁定不选)，删除(可以考虑)，数据补差(99%的同僚选择)而补差的方式主要用下面的5类，重点是第五个，插值法 1. 补插均值/中位数/众数 2. 使用固定值. ...
mysql分层数据同步_MySQL的多层数据同步方法与流程
weixin_34648437的博客
01-19 239
本发明涉及数据库读写领域，具体涉及一种MySQL(关系型数据库管理系统)的多层数据同步方法。背景技术：由于IPTV(交互式网络电视)及OTT业务(Over The Top，通过互联网向用户提供各种应用服务)的迅猛发展，致使EPG(Electronic Program Guide，电子节目导航)需大规模分布式部署，这样就会出现中心节点EPG和边缘节点EPG。中心节点EPG需要接收CMS(Conten...
数据仓库之数据同步策略
程序员学习圈
06-08 3149
1. 数据仓库生命周期工具箱(第二版) 告诉你数据仓库从0到1都有什么流程，更多的是管理流程，每个阶段有什么样的文档。 2. 数据仓库工具箱-维度建模权威指南(第三版) 告诉你维度建模的表该如何设计，有坑了怎么解决。 3.数据仓库ETL工具箱 告诉你模型建好了，ETL到底如何实施，ETL到底怎么设计，才能把数...
在数据仓库中，数据同步有哪些方式？我们如何进行选择？
zfq0314的博客
07-20 1008
数据同步方法主要有全量同步策略、增量同步策略、新增及变化策略、特殊策略 1.全量同步策略 应用场景： 1、首次拿到业务相关数据时且不关心主键的情况下，一般会将全部数据导入到一张表中。 2、针对业务需求： 每日全量，每天存储一份完整数据，作为一个分区。适用于表数据不大，且每天既有新数据插入，也会有旧数据修改的场景。 例如：编码字典表，品牌表，商品分类表，优惠表，活动表，商品表，加购表，SPU表等。 2、增量同步策略 应用场景： 1、一般在第一次全量建表以后，基本会选择增量同步策略，除非有所有
数仓搭建全程总结
weixin_46244703的博客
06-09 978
24张表中,有20张表是拉链表,订单评价表和登录记录表是增量表(增量导入),区域字典表、时间维度表是全量覆盖导入。订单事实表,循环与拉链导入(因为拉链表是dwd层,所以要用sqoop抽取到ODS层,再到DWD层。3种导入方式:拉链导入(增量及更新) ,全量覆盖导入, 增量导入(instance1,2,3。这里由于涉及到计算,可能会有重复的计算,甚至小括号过多,容易写错,最终考虑使用CTE表达式。获取各种主题的日统计宽表,销售,商品,用户宽表。降维,形成宽表-三张(订单,店铺,商品。
数仓分层概念
weixin_60164612的博客
09-27 1037
日活:对DWD层里面的启动表的mid字段进行groupby去重,有多少个mid就表示有多少个启动过APP,那只要启动过APP的用户就代表了当日活跃。2)DWD层 (数据明细层) : 对ods层数据进行清洗,去除空值,脏数据,超过极限范围的数据,行式存储改为列式存储,改变压缩格式。面向实际的数据需求，以DWD或者DWS层的数据为基础，组成的各种统计报表。结构和粒度与ODS层保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据），也有公司叫DWI。2、DWD层（明细数据层）
数仓分层 数据库仓库实战
福州大数据 hadoop学习
06-08 613
回到顶部 数仓分层 ODS：Operation Data Store 原始数据 DWD(数据清洗/DWI)data warehouse detail 数据明细详情，去除空值，脏数据，超过极限范围的 明细解析 具体表 DWS(宽表-用户行为，轻度聚合)data warehouse service ----->有多少个宽表？多少个字段 服务层--留存-转化-GMV-复购率-日活 点赞、评论、收藏; 轻度聚合对DWD ADS(APP/DAL/DF)-出报表结...
通过sql准确查出一天数据的方法
12-16
前言 数据查询，不管在网站还是在系统中都很常见，下面这篇文章是给大家介绍了通过sql准确查出一天数据的方法，下面来学习学习吧。 原来oracle数据库中的一天的定义范围是以当天凌晨十二点开始到第二天十二点之前不能等于第二天凌晨12点. 举个例子如要查出2014-10-1这一天的数据 sql就是 select to_char(bizdate,'yyyy-MM-dd HH24:mi:ss') ,id from table_person where bizdate >=to_date('2014-10-01 00:00:00','yyyy-MM-dd HH24:mi:ss') and bizdat
维度退化及其优缺点、维度建模与范式
qq_45810187的博客
03-30 1539
规范化的第三范式模型主要应用于操作型过程中，因为对事务的更新与插入仅触及数据库的某几行。总结：当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度，需要把退化的相关数据迁移到事实表中，然后删除退化的维度。退化维度没有对应的维表，但可以获取与之相关的事实。操作型事务控制号码，例如：订单号码，发票号码，提货单号码通常产生空的维度，经常保存为事实表中的退化维度。退化维度是没有对应维度表的维度键。维度退化可以这样理解：将维度表中的维度退化到事实表中。
数仓数据同步策略
weixin_44604159的博客
11-28 1012
数仓同步策略介绍和应用场景
常用日期函数
weixin_42487673的博客
08-04 3976
hive中常用日期函数及其转化
数据仓库——上篇
平平无奇小码农~
11-05 3174
文章目录一、数仓分层1.1 数仓的分层1.1.1 ODS(原始数据层)层1.1.2 DWD(数据明细层)层1.1.3 DWS(数据服务层)1.1.4 DWT(数据主题层)1.1.5 ADS（数据应用层）1.1.6 总结二、数仓理论2.1 范式、2.2 函数依赖2.3 常见的三范式2.4 关系建模和维度建模2.5 维度表和事实表2.6 维度建模的模型2.7 事实表的分类2.8 数据仓库建模2.8.1 ODS层2.8.2 DWD层2.8.3
SQL常用知识点总结
weixin_39773250的博客
08-12 1610
一 时间条件限制，时间转格式，转字符串 选取当前时间前多少天内的时间段 # 1 SUBSTR(create_time,1,10) BETWEEN to_char(DATEADD(to_date(to_date('${bizdate}', 'yyyymmdd'), 'yyyy-mm-dd hh:mi:ss'),-13,'dd') ,'yyyy-mm-dd') and to_char(to_date("${bizdate}", 'yyyymmdd'), 'yyyy-mm-dd') -- ..
SQL 分组取最新的一条数据的方法
每天都要有进步鸭！
12-16 2064
SELECT biz_id AS leads_id ,gmt_create AS leads_complete_time FROM kbods.ods_kbleadscenter_biz_log AS b WHERE dt='${bizdate}' AND action='completeLeads' AND NOT EXISTS ( ...
获取时间函数
在路上
05-11 1340
在Web前端开发中，与Date对象打交道算是很平凡的了，可以说是家常便饭了，所以日期对象是很常用的。这里，菜鸟写了个函数，把后台传过来的时间戳按规定的格式显示出来。其实很简单的，我们可以通过(Date(new Date())).toString()一句就可以得到一个格林威治时间格式字符串。 /** * @Descript: used to format Date like YYYY:MM:DD
4. 同步方式(增量和全量)
weixin_48370579的博客
08-07 5724
4. 同步方式(增量和全量) 4.1 数据同步一般分为两种方式：全量和增量。 全量 全量，这个很好理解。就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方； 全量的话，可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据)；或者走更新逻辑(覆盖前判断下，如果新旧不一致，就更新)； 这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步？这...
Flink驱动的实时数仓：美团点评等企业实践与技术选型解析
平台层则负责数据、任务管理和资源调度，而应用层包括实时分析、机器学习、数据同步等功能。 2. 网易的实时数仓实践同样基于Flink，其架构设计强调实时性和准确性，适用于严苛的实时业务场景。 3. 知乎的实时数仓...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值