数仓表数据一般保留多久,而每个日志分区全量表快照一般保留多久

最新推荐文章于 2023-02-16 10:46:10 发布
最新推荐文章于 2023-02-16 10:46:10 发布
阅读量1k 收藏 2
点赞数
分类专栏： hive hadoop 大数据 文章标签： hive hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43662454/article/details/124272430
版权
大数据 同时被 3 个专栏收录
14 篇文章 0 订阅
订阅专栏
hadoop
10 篇文章 0 订阅
订阅专栏
hive
2 篇文章 0 订阅
订阅专栏

数据仓库整理部分内容

类型:
ods/永久保留 添加数据生命周期 ods 180天
dw/365天/迭代删除/不用要的/ 1个月

在存储资源有限的前提下,如何优化明细层存储:

已经做好了orc+gz的压缩之后,如何优化存储
1:大宽表+累计快照/删数据明细
2:直接删/根据数据等级
3.不删/业务提供资源

weixin_43662454
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搭建数据仓库第01篇：数据仓库开发的生命周期
baiba7240的博客
11-11 301
虽然一直在做数据仓库开发，但是还没有从0开始搭建过数据仓库，所以就想通过学习和思考来搭建一个还不错的数据仓库。比较经典的当属Kimball生命周期方法，它为我们在数据仓库开发过程中提供了路标的作用，生命周期方法的总体结构的核心内容有 定义业务需求 技术路径 技术架构设计 产品的选择和安装 数据路径 维度建模 物理设计 ETL设计和开发 BI...
(29)ODS层（业务数据）
song_quan_的博客
07-12 277
1.订单表（增量及更新） hive (gmall)> drop table if exists ods_order_info; create external table ods_order_info ( `id` string COMMENT '订单号', `final_total_amount` decimal(16,2) COMMENT '订单金额', `order_status` string COMMENT '订单状态', `user_id` strin...
数据仓库
idlethetimewithu的博客
08-11 299
1. 什么是数据仓库？ 数据仓库（Data Warehouse）,可简写为DW或DWH,数据仓库，是为了企业所有级别的决策制定计划过程，提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业 ,为需要指导业务流程改进、监视时间，成本，质量以及控制等。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何数据，数据来源于外部，并且开放给外部应用，...
数据仓库数据分层
aijia7039的博客
10-09 736
为什么要对数据仓库分层？ 用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据； 如果不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大 通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理...
在没有调度器的情况下，怎么保证实时数仓任务有序执行
程老师的博客
12-24 1518
背景： 上次我们写到没有调度器的情况下，怎么执行数仓任务，对于每日数仓任务，一天执行一次，上下游依赖问题解决了，是没有问题的。但是对于实时或者近实时数仓任务，当集群资源紧张、数据量日益变大的时候，我们定的执行频率就无法稳定的执行了。这时候我们就需要通过规则来区分当前任务和下一次任务。
Oracle 数据表分区的策略
12-16
Oracle虽然是一个大型的DBMS，但如果不对记录比较多的表进行处理，仍然发挥不了Oracle管理大型数据的强大功能，因此对某些表进行分区，具有如下优点： 分区表中每个分区可以在逻辑上认为是一个独立的对象；...
Oracle数据表分区的策略
12-16
　Oracle虽然是一个大型的DBMS，但如果不对记录比较多的表进行处理，仍然发挥不了Oracle管理大型数据的强大功能，因此对某些表进行分区，具有如下优点： 分区表中每个分区可以在逻辑上认为是一个独立的对象；...
oracle表中已经有数据还能创建分区吗
06-20
oracle创建分区表
数仓02-从0到1设计和搭建
DCHAO的博客
02-02 4300
数仓的知识
大数据之数据中台
qq_43806430的博客
02-16 476
缺点：所采集的数据，属于前端浅层数据，而侧重属性的数据带不回来，比如对于新闻类APP，能监测到用户点击标题的行为的，但作者、细分标签、发布时间等数据无法采集，且无法进行数据追溯。优点：代码埋点可以采集到想要的所有数据（服务端、客户端），前期需要系统性规划，数据分析会更贴合业务场景，且数据维度更丰富和深入，适合精细化分析和用户行为洞察；我们在APP端所设置的自定义事件，就是通过数据埋点的方式，实现对用户行为的追踪，以及记录行为发生的具体细节。主流的数据埋点方式：全埋点、可视化埋点、代码埋点、后端埋点。
【数仓概念】
pblh123的专栏
09-29 1169
数仓，hive,分层
大数据之数据仓库建设（一）
大数据同盟会的博客
07-04 2631
一、数据仓库： 一个面向分析、反映历史变化的的数据仓库； 中小公司数据量：一天1000万条数据，17G；一个月500G，一年6T数据量； 数据仓库技术： 1、传统数仓一般是采用关系型数据库； 2、大数据领域中： 使用HDFS做存储；使用spark 或mapreduce做运算、使用spark sql或者hive做sql引擎； impala既可以做运算又可是做sql引擎； click house即可以做存储，又可以做运算、sql引擎； 分层设计： 数据仓库中的数据表，往往是分层管理、分层计算的： ODS 层：操
数据仓库分层
qq_55961709的博客
10-10 3349
数据仓库分层
必须了解的实时数据架构
大数据星球-浪尖
04-28 1097
随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要， 商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。此外...
【架构】数据积存功能之 ODS 层
pengpengsays
09-22 901
操作数据层 ODS 在数据仓库的整体架构中讲到，ODS 层的数据需与原业务数据保持一致，且不允许修改，从而完成历史数据积存的功能。 数据管理 但在实际企业开发中，ODS 层的数据是原始数据的一个扩充集，在保留所有原始数据的情况下，会增加一些字段用来进行数据管理。 如下图所示，为表增加 update_time 字段标识数据进入数据仓库的时间，from 字段标识数据的源系统，update_type 字...
5.2.1 电商离线数仓项目实战 【下】（电商分析-核心交易 ：Mysql转入ODS层--全量导入、增量导入，维表、拉链表、周期性事实表，DIM、DWD、DWS、ADS层数据加载）
weixin_47134119的博客
04-09 1562
电商离线数仓项目实战 【下】 文章目录电商离线数仓项目实战 【下】第一部分 电商分析之--核心交易第1节 业务需求第2节 业务数据库表结构第3节 数据导入3.1、全量数据导入 第一部分 电商分析之–核心交易 第1节 业务需求 本主题是电商系统业务中最关键的业务，电商的运营活动都是围绕这个主题展开。 选取的指标包括：订单数、商品数、支付金额。对这些指标按销售区域、商品类型进 行分析。 第2节 业务数据库表结构 业务数据库：数据源 交易订单表（trade_orders） 订单产品表（order_pro
数据仓库ODS层的作用
热门推荐
xuebo_911的专栏
11-07 1万+
ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。 　　一般在带有ODS的系统体系结构中，ODS都设计为如下几个作用： 　　1）在业务系统和数据仓库之间形成一个隔离层 　　一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同
浅谈ODS与DW的区别-数据项目实战总结
xiaohai798的专栏
11-01 9570
浅谈ODS与DW的区别-数据项目实战总结
数据仓库中的数据形态
zhoujinhuang
11-05 1028
对于数据仓库中的数据，我们一般理解都是记录历史变化的。他的定义中也明确提到这一点，所以数据仓库中的事实表一般都有时间或时间戳字段来支持记录的历史变化，而且不光是事实表，维表也要体现历史变化，其中，代理键就起了一定的作用。但是对于ODS层表，他记录的是最近时间的原子数据，忽略了一些历史信息。   ODS层表的数据形态按反应历史变化情况可以分成两种，一种是快照型的，一种是事件型的。   系统中存在一种...
spark 读取hive分区表 读取一定量的数据 如何将这些数据分布到每个分区
最新发布
05-23
当使用Spark读取Hive分区表时，Spark会自动识别Hive表的分区，并将数据分布到每个分区。 如果你想控制数据分布的大小，可以使用Spark的分区功能。你可以在读取Hive表时指定分区数量，以便将数据分散到更多的分区中。例如： ``` val df = spark.sql("SELECT * FROM db.table WHERE partition_col >= 1 AND partition_col <= 100") .repartition(10) ``` 这个例子中，我们选择了一个特定的分区，然后使用 `repartition()` 方法将数据分布到10个分区中。注意，这个例子中的 `partition_col` 是一个分区列名，你需要根据你的表的实际情况进行替换。 另外，你也可以使用 `coalesce()` 方法来减少分区的数量。例如： ``` val df = spark.sql("SELECT * FROM db.table WHERE partition_col >= 1 AND partition_col <= 100") .coalesce(5) ``` 这个例子中，我们使用 `coalesce()` 方法将数据压缩到5个分区中。注意，这个方法可能导致数据倾斜，因此在使用之前需要仔细评估你的数据分布情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值