数据仓库ods层是啥意思_数据仓库分层设计

最新推荐文章于 2024-05-07 20:03:23 发布
最新推荐文章于 2024-05-07 20:03:23 发布
阅读量7.1k 收藏 6
点赞数
文章标签： 数据仓库ods层是啥意思
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31706437/article/details/112263823
版权

48d6bbcbb0b6c13988b988292582e4ee.png

数据仓库架构设计

  1. 数据仓库架构图
  2. 名词介绍
  3. 分层介绍

在去年由于公司业务需要，设计了仓库，太详细的可能设计公司一些隐私，所以在这里简单介绍一下，读者如果有什么疑问的话，可以私信咨询我。

数据仓库架构图

这里是我经过思考，使用processon画的图

0879180b61206073591a77b40829cdf5.png

名词介绍

|缩写 | 全名| 中文解释 | 作用 |

| ODS | operational data store | 操作存储数据层 | 数据沉淀 |

| DWD | data warehouse detail | 数仓库详细层 | 数据沉淀 |

| DWB | data warehouse basis | 数据仓库基础层 | 轻度汇总层 |

| DWS | data warehouse service | 数据仓库服务层 |主题层 |

| DIM | Dictionary Data Layer | 字典成 | 渠道，黑白名单 |

| APP | | 应用层 | 直接导

最低0.47元/天 解锁文章
virzz
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ADS-B数据站系统
qq_17741681的博客
09-12 2041
ADS-B数据站系统 --南京牧星人航空科技 适用场景 通过接收各地面站设备汇总过来的目标数据，并进行相应的处理、存储与融合，最终将解析的目标数据按某一固定格式推送至显示终端。 数据通信 支持TCP/IP协议 系统时间性能 系统平均无故障时间（MTBF）应大于10000h，平均故障修复时间（MTTR）应小于0.5h。 监视数据处理功能 a)数据站系统能够接收、处理符合ASTERIX CAT021格式的ADS-B数据。b)数据站系统能够对AD
电商数仓(ods 层)
a1786742005的博客
04-30 4986
一、ods 层介绍 1、保持数据原貌不做任何修改，起到备份数据的作用。 2、数据采用 LZO 压缩，减少磁盘存储空间。100G 数据可以压缩到 10G 以内。 3、创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。 4、创建外部表，在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。 二、用户行为数据 1、启动日志表 ods_start_log // 创建启动日志...
数据仓库相关概念
weixin_49790852的博客
03-19 1327
数据中心整体架构。 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 数据仓库的ODS（Operational Data Store）、DW（Data Warehouse）和DM（Data Mart）概念 ODS、DW、DM协作层次图 DW可细分为DWDetail，DWMiddle，DWServer；其他层可有D..
数仓分层——ODS、DW、ADS
麦当当的博客
05-07 2866
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
【数据仓库】【第十章】ODS层
weixin_43589563的博客
01-06 4751
1.创建数据库 现在数仓环境已经搭建好了； 数据也都已经采集到hdfs上了； 1）启动hive [atguigu@hadoop102 hive]$ bin/hive 2）显示数据库 hive (default)> show databases; 3）创建数据库 hive (default)> create database gmall; 4）使用数据库 hive (default)> use gmall; ODS层 1.用户行为数据 （1）建表分析 一行数据是什么：一条日志 有哪些字段：
数仓ODS层建设
m0_61607827的博客
04-23 1387
一、ODS层辨析 ODS全称是Operational Data Store，即操作数据存储。 1. Inmon VS Kimball Bill.Inmon的定义：ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。而Kimball的定义：操作型系统的集成，用于当前、历史以及其它细节查询(业务系统的一部分)；为决策支持提供当前细节数据(数据仓库的一部分)。 2. ODS VS DB
Oracle_data_warehouse.rar_ 数据仓库_Data Warehouse orac_oracle_wareh
09-14
数据分层包括源系统层、ODS（Operational Data Store）层、DWH（Data Warehouse）层和OLAP立方体。 5. Oracle Advanced Analytics：Oracle提供了强大的高级分析功能，如Oracle Data Mining、Oracle R Enterprise等...
Hive数据仓库之垃圾分类数据分析系统
08-14
（2）hive数据仓库分层设计，包含ODS、DWD、ADS层 （3）sqoop数据迁移，完成HIve与MySQL数据库中的数据交互 （4）Echarts搭建动态可视化大屏 （5）SpringBoot搭建可视化后台系统，完成前端与后台的数据传递与交互。 ...
第1_ODS层数据采集
03-01
数据仓库的分层可以分为多个层次，包括ODS原始数据、DIM维度数据、DWD明细数据、DWS宽表数据和ADS应用数据等。 实时计算和批处理 实时计算和批处理是两种不同的计算模式。实时计算强调实效性，计算结果可以实时地...
企业级离线数据仓库培训资料.zip
最新发布
05-15
2. 数据分层：ODS（Operational Data Store）层、DWD（Data Warehouse Detail）层、DW（Data Warehouse）层和ADS（Application Data Service）层，层层抽象，逐渐降低数据冗余，提高查询效率。 3. 关键性能指标（KPI...
二、数据仓库电商项目——ODS层
.
05-14 1775
ODS层 ODS层是整个阶段最简单一层分层，主要职责是建立数据原始层，将数据都保存在HDFS上，经过步骤1我们建立出来了两个数据文件夹，一个是db，一个是log，分别代表业务数据、用户行为数据。 ODS层的特点： （1）保持数据原貌不做任何修改，起到备份数据的作用。 （2）数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右） （3）创建分区表，防止后续的全表扫描 实现需求 1、选择...
如何成为大数据分析师进阶指南
yuuEva的博客
09-23 420
　　大数据分析师负责了解海量数据集中揭示的趋势和见解。公司通常聘请大数据分析师来帮助您做出决策或改善业务实践。本指南逐步介绍了成为大数据分析师的必要步骤，并包含详细的职位描述，薪资信息和未来的职位前景。 　　 　　启动大数据分析师职业的三个步骤 　　步骤1：获得信息技术，计算机科学或统计专业的学士学位 　　辅修或研究应用统计或数据分析。还要参加强调项目管理和数据库管理的计算机科学课程。寻找熟悉大数据分析师职业道路的顾问或职业顾问。 　　步骤2：获得大数据分析师的经验 　　如果您没有任何.
话单数据仓库搭建（2）- 数据仓库ODS及DWD层
qq_42409495的博客
12-27 2941
1 数仓分层概念 1.1 为什么要分层 1、把复杂问题简单化 将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。 2、清晰数据结构 每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。 3、减少重复开发 规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。 4、隔离原始数据 不论是数据的异常还是数据的敏感性，使真实数据与统计
如何理解ODS层
Ricardo_N的博客
08-01 269
首先确保数据不遗漏，根据log_time分别冗余前一天最后15分钟的数据和后一天凌晨开始15分钟的数据，并用modified_time过滤非当天数据，此时会过滤掉一部分后一天凌晨开始15分钟的数据，但是还是会冗余一部分前一天的数据，由于log数据保存了多个状态的数据，所以还需要根据log_time进行降序排列，获取最新状态的记录，这样就去掉了中间状态的数据。上文提到ODS的数据来源于业务系统，且ODS落地的系统通常和业务系统是不同的，比如常见的将数据落到Hive中。该类ODS层的表是最容易维护的。
数据仓库ods层是啥意思_一文读懂大数据仓库建设
u011250186的博客
03-24 3113
文章标签： 数据仓库ods层是啥意思 版权 从传统数仓到大数据平台，MPP数据集市，Hadoop集群，还有混合架构数仓，一直在不断演进，但是万变不离其宗，大框架和方法论终归是那一套。所以本文就来分享数仓建设的方法论，文中针对的例子是大数据环境下的数据仓库建设，从目前互联网行业数据的采集，存储，同步以及任务调度与监控方面阐述了相关技术，还专门针对数据仓库的维度建模技术做了详细的介绍。 先从大数据数据仓库建设的整体架构说起。 下图是数据仓库的逻辑分层架构： 想看懂数据仓库的逻辑分层架构，必须先弄懂以..
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念
热门推荐
白鸽
09-17 1万+
一. 各种名词解释 1.1 ODS是什么？ ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。 ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。但是，这一层面的数据却不等同于原始数据。在源数据装入这一层
Pandas第三次作业20200907
Narutolxy的博客
09-07 1718
练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息 有无缺失值 对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息 查看数据是否清洗完毕 • index列没啥用 将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引 进行升序 • 将处理好的数据 保存至 北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author
PHP与JSON的一些常用操作
HelloWorld
09-30 1958
PHP把数据写入JSON文件 <?php // 生成一个PHP数组 $data = array (); $data ["fruit"] = "apple" ; $data ["animal"] = "tiget"; // 把PHP数组转成JSON字符串,写入文件 $json_string = json_encode( $data ); ?> PHP读取JSON数据? <?php // 从文件中读取数据到PHP变量 $str = file_get_contents ( 'one
数据仓库整体设计方案模板.docx
03-16
数据仓库整体设计方案模板

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值