【大数据技术干货】(还不懂数仓,数据中心?看这一篇就够了!)在实际的开发生产中,让你了解企业级数据中心整体架构(DB+ETL+ODS+DW+DM)的各个层次的过程详解,数据联系及功能区分

最新推荐文章于 2021-08-25 11:37:02 发布
最新推荐文章于 2021-08-25 11:37:02 发布
阅读量957 收藏 2
点赞数
分类专栏： 物联网&大数据知识的思考，总结和拓展 文章标签： 数据仓库 分布式 大数据 etl ods
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuchunhang/article/details/106359291
版权
本文深入探讨了企业级数据中心的架构，包括数据仓库的整体构架，重点讲解了ODS、DW和DM的概念及其相互关系。介绍了DB中的关系型数据库和非关系型数据库（NoSQL）的区别，以及分布式数据库的特点。此外，详细阐述了ETL过程，包括数据抽取、清洗转换以及日志管理和警告发送。最后，讨论了ODS的实时数据存储、DW的数据质量与效率，以及DM在特定主题领域的应用。
摘要由CSDN通过智能技术生成

这里写目录标题

一级目录

二级目录

三级目录

一 企业级数据中心架构

1 数据仓库的整体架构

各个系统的元数据通过ETL同步到操作性数据仓库ODS(Operational Data Store)中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。
在这里插入图片描述

2数据仓库的ODS、DW和DM概念

在这里插入图片描述

3通过一个简单例子看这几层的协作关系

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
牵牛刘先生
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
数据仓库 、数据中心相关技术知识和生态相关了解
简简单单Onlinezuozuo
05-18 845
文章目录数据仓库 、数据中心相关技术知识和生态相关了解1、数据仓库 数仓2、数据处理 ETL3、数据湖4、数据中心相关 数据仓库 、数据中心相关技术知识和生态相关了解 1、数据仓库 数仓 数仓的分层 1、ODS 层：Operation Data Store 原始数据层 加载原始数据不做处理 2、DWD 层：Data Warehouse Detail 明细数据层 对 ODS 层数据进行清洗，去除空值、脏数据、超过极限范围的数据，对敏感数据进行脱敏 3、DWS 层：Data Wa
云数据中心解决方案架构图
化十の产研思考
05-18 1万+
展示云数据中心解决方案的整体架构。
数据中心架构图及描述
水彩橘子
08-25 1461
--------------------------------------------------------------------------------------------------绘图/设计作者：D.J.Y 1、主要提供服务为hbase、spark和hadoop集群 2、hbase做实时数据检索，故规范化数据直接流入hbase直接进行使用，次级数据流入spark做处理增强hbase；原始数据流入hadoop hdfs，做处理增强hbase；spark和hadoop集群主要任务都是完善hba.
数据中心的架构与设计
07-10
企业数据中心的搭建方案。数据中心本身不产生数据，数据应当全部来源于外部数据源。外部数据源通过ETL工具处理之后，将主题性的数据按照一定的模型存储，以达到统一使用，按需存储，面向主题的数据存储集合，避免了以往多数据库，数据冗余过多以及数据分散，数据无面向主题，且大多数数据无用的缺点。
数据中心存储架构(完整版)
11-07
存储系统是数据中心IT环境的核心基础架构，是数据中心数据访问的最终承载体。在过去的10年里，IT行业都已经发生了很大的变化，发展步伐令人难以捉摸，但是这一切也将会继续下去。存储在云计算、虚拟化、大数据等相关技术进入后已经发生了巨大的改变，块存储、文件存储、对象存储支撑起多种数据类型的读取；集中式存储已经不再是数据中心的主流存储架构，海量数据的存储访问，需要扩展性、伸缩性极强的分布式存储架构来实现。
数据中心架构-数据仓库
OYY_90的博客
03-25 1498
数据仓库（Data Warehouse）：是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 数据中心架构： DW：data warehouse翻译成数据仓库 DW数据分层...
理解“互联网+”，看这一篇就够了！
02-26
“任何企业都可以找最强的竞争对手打，但有一个对手你是打不过的，那就是趋势。”以下是周鸿祎在北京“移动互联网时代的产品创新”大会上的演讲。干货满满，为你呈现。今天很多传统行业，包括很多人创业，都是希望把...
干货来啦！做设计为什么还需要看数据？
02-26
想成为一个能解决问题的设计师，光靠笔头功夫还不行，今天阿里的同学聊聊如何通过数据帮设计师发现问题，判断思路+验证方案，全程都是实战经验，图例清晰，逻辑分明，希望给容易迷茫的设计师来一针实在的，不喝鸡汤...
干货iOS和安卓商店ASO怎么做？看完这5000字就够了!.pdf
11-17
干货iOS和安卓商店ASO怎么做？看完这5000字就够了!.pdf
ETL构建企业级数据仓库五步法
xcbsdu的专栏
07-27 1739
在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗，整合，到转换，加载等的各个过程，如果说数据仓库是一座大厦，那么ETL就是大厦的根基，ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作用，必须摆到十分
数据中心和数据仓库,在信息化建设中有何作用?
tianyu的专栏 - Linux site:blog.csdn.net/wishfly
08-13 4266
现在可能各大IT新闻都会提到"数据中心", 看起来是很庞大的家伙, IT巨头google,MS等耗资巨头投入到数据中心建设中. 那么什么是数据中心? 从字面意思,非IT人可能人认为是放数据的计算机中心. 其实这只是表面, 数据中心的建设在不同情况,它的作用是不完全一样的. 在数据处理中, 分为两大类。一是事务处理，二是数据查询和分析。数据处理或者分析，一般是在数据库中处理，而数据查询现
数据仓库技术中的MPP
weixin_34265814的博客
06-30 469
数据仓库技术中的MPPhttp://www.dedecms.com/knowledge/data-base/generalized/2012/0703/2510.html数据仓库世界里面的massively parallel processing 大概定义：　　MPP 是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。　...
云计算数据中心架构简图
Chinajash的专栏
08-28 9828
看了几天的文档，整理一下云计算数据中心的架构简图，图中包括Provisioning和Operation两大块内容，要降低云数据中心的运营成本，要大力提高这两块的自动化程度，好在有很多现成的工具可以帮助我们做自动化，转载请注明出处。
数据中心网络架构浅谈（二）
热门推荐
weixin_41158656的博客
01-21 2万+
上一篇说了传统三层网络架构，这一次来看看近些年开始流行的Fabric网络架构。**Fabric** Fabric一词来源于网络交换机。网络交换机就是将输入端口的数据，经过判断，转发到输出端口。其架构大体如下图所示： 交换机内部连接输入输出端口的是Switch Fabric。最简单的Switch Fabric架构是crossbar模型，这是一个开关矩阵，每一个crosspoint（交点）都是一个...
模拟搭建数据中心
weixin_40050195的博客
09-21 565
阿里云大学课程：模拟搭建数据中心 课程介绍： 当今社会以互联网、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业，每个企业比以往更能方便获取、收集、产生更多的数据，数据作为一种资源、一种新的能源，正在推动着企业的发展。 如今企业如何应用好各类数据是面临的核心问题之一。构建数据仓库、数据中心对数据进行必要的加工处理以便应用成为趋势和必然。 本课程指导学员利用阿里的大数据相关服务、...
数据库与MPP数仓(十五)：MPP的架构与选型
叶子叶来
08-11 9405
前面讲了数据仓库的价值、构建思路、实例，完成数据仓库的概念、逻辑、物理模型设计后，数仓的产品选型也是需要考虑的部分，根据数据存储量、查询效率、并发能力可以选用MPP数仓和基于Hadoop的分布式数仓等； 一、MPP还是Hadoop 这里继续用之前用到的图讲解，数据仓库的特性是处理温数据和冷数据，面向业务分析提供偏于离线分析能力，因此一般选用Hadoop+MPP数仓结合的解决方法，Hive能够提供大批量历史数据的存储计算能力，Hbase能够提供半结构化文档的快速检索能力，MPP能够提供强大高压缩比基..
数据建设-数仓分层
Piepis的博客
08-21 2129
前言 数据仓库是所有产品的数据中心，公司体系下的所有产品产生的所有数据最终都流向数据仓库，可以说数据仓库不产生数据，也不消费数据，只是数据的搬运工。 注意： 本问讨论的数据公共层设计理念遵循维度建模思想 数据仓库的作用 存储数据 校准数据 整合数据 输出数据 基于以上几点，需要将数据分层次管理，每一层分工合作，对数据进行不同程度的处理，如同工厂里的流水线一般，从而确保数据的生命性、生态性。 模型层次 数据模型分为三层： 操作数据层（ODS） 公工维度模型层（CDM） 应用数据层（ADS） 模型层
数据中心网络架构浅谈（三）
weixin_41158656的博客
01-28 2万+
构建一个数据中心网络时，除了考虑网络硬件设备的架构，2-7层网络设计也需要考虑。这两者其实不能完全分开，硬件架构有时候决定了网络设计，网络设计有时候又限制了硬件架构。从应用场景，例如SDN/NFV来看，网络设计是最直接需要考虑的。所以这部分说说网络设计。**传统三层网络架构中的网络设计** L3架构 前面几部分说过，传统的三层网络架构中，通常是在汇聚层做L2/L3的分隔。这样可以在每个汇聚层P...
python协程实时输出_一篇很有营养的干货 | 看懂Python中的异步协程，这篇就够了！...
最新发布
06-08
在Python中使用协程实现异步编程是很常见的，而实时输出则是在协程编程中比较常见的需求之一。以下是一些实现实时输出的方法： 1. 使用sys.stdout.flush()方法：在协程中使用sys.stdout.write()方法输出信息，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

牵牛刘先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值