大数据DW架构记录

最新推荐文章于 2023-03-28 18:40:18 发布
最新推荐文章于 2023-03-28 18:40:18 发布
阅读量421 收藏
点赞数
分类专栏： 大数据流程图

笔记记录

  • DW一直以来是企业信息与决策支持系统的核心组件，随着各类日志、社交、传感等非结构化数据的加入，企业内部数据按指数级增长，传统DW已经达到一个关键临界点——需要大量的资源投入到硬件、优化、支持和维护中，当前大部分使用Apache Hadoop来处理各种来源的大数据，但传统数据仓库不允许最终用户查询非结构化数据，此外，传统数据仓库并没有针对低延迟大容量数据负载和高吞吐量复杂分析工作负载进行优化——而这是大数据的需求之一。

文章出处：https://www.cnblogs.com/tgzhu/p/5874234.html

文章目录

大数据DW逻辑架构

  • 企业级数据仓库架构
    在这里插入图片描述
  • 利用大数据增强你的数据仓库
    在这里插入图片描述
  • 基于大数据技术的DW 逻辑架构
    在这里插入图片描述

IBM产品架构

在这里插入图片描述

微软大数据架构

在这里插入图片描述

elema DW

在这里插入图片描述

某互联网公司DW

在这里插入图片描述

美团平台

在这里插入图片描述

大众点评实时计算

在这里插入图片描述

TDH DW

在这里插入图片描述

Discover

数据挖掘产品
在这里插入图片描述

一年又半
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于大数据平台构建数据仓库的研究与实践.pdf
07-16
数据仓库设计文档，帮助大家理解及如何设计数据仓库，很不错的一篇论文。
大数据DW架构参考
weixin_34405354的博客
11-11 345
2019独角兽企业重金招聘Python工程师标准>>> ...
数仓(DW)的架构
mao2430524817的博客
03-28 236
事实表和维度表
数据仓库（DW）的分层架构
weixin_41655296的博客
04-22 2419
1 数据仓库“分层”的优势 （1）把复杂的问题简单化；通过把复杂的问题分解成多层，每次只处理简单任务。 （2）减少重复开发；规范数据分层，通过的中间层数据，能够减少极大的重复计算 （3）隔离原始数据 2 四层分层各自的作用 1 数据操作层ODS（Operational Data Store） 数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层 ODS表通常包括两类：一个用于存储当前需要加载的的数据，一个用于存储处理好的历史数据。历史数据一般保存3-6个月后需要清除，以节省
面向服务体系架构（SOA）和数据仓库（DW）的思考
11-08 239
摘要： 当前业界对面向服务体系架构（SOA）和数据仓库（Data Warehouse，DW）都介绍的很多，提出了很多优秀的解决方案，但是一般是把 SOA 和 DW 单独考虑，SOA 和 DW 有着共同的目标——系统整合，由于基于不同的技术思路，提出了不同的方案。本文将围绕 SOA 和 DW 相结合的思路，基于 IBM 的产品，规划统一的数据库，搭建企业级的技术架构。 SOA 和 DW ...
dw架构
03-20
dw架构
深入理解大数据架构之——Lambda架构
03-01
数据量的变化数据管理系统（DBMS）和数仓系统（DW）也在悄然的变化着。传统应用的数据系统架构设计时，应用直接访问数据库系统。当用户访问量增加时，数据库无法支撑日益增长的用户请求的负载时，从而导致数据库...
云计算大数据DW&BI解决方案白皮书.docx
10-10
"云计算大数据DW&BI解决方案白皮书" 云计算大数据DW&BI解决方案白皮书旨在解决政府信息化建设及数据应用面临的艰巨挑战。该解决方案主要针对政府机构信息化系统的分散、管理应用难以统一、数据来源广泛、无法统一...
云计算大数据DW&BI解决方案白皮书.pdf
10-10
云计算大数据DW&BI解决方案白皮书.pdf
大数据基础
weixin_45889655的博客
10-08 695
大数据hadoop,spark，hive离线数仓的基本常识。
大数据真实数仓项目完整版
12-21
大数据阶段真实项目，数据仓库完整项目，包括项目分析，如何实现。
2. Kimball的DW/BI架构解析
liuqiker的博客
01-30 946
数据仓库&维度建模学习笔记
大数据学习笔记（一）
xxiaoMinGLL的博客
01-22 3962
一、大数据        大数据（big data），指无法在一定时间范围呢用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率的多样化的信息资产。        在维克托·迈尔·舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IB
DW-2种架构的区别
DCHAO的博客
02-20 558
这两种结构的相似之处：一、都是假设操作型系统和分析型系统是分离的；二、数据源（操作型系统）都是众多；三、ETL整合了多种操作型系统的信息，集中到一个企业数据仓库。 最大的不同就是企业数据仓库的模式不同：inmon是采用第三范式的格式，kimball采用了多维模型–星型模型，并且还是最低粒度的数据存储。其次，维度数据仓库可以被分析系统直接访问（这种访问方式毕竟在分析过程中很少使用）。最后就是数据集市的概念有逻辑上的区别，在kimball的架构中，数据集市用维度数据仓库的高亮显示的表的子集来表示。 在kim..
大数据基础知识科普--数据分层（ETL、ODS、DW、DWD、DWM、DWS、DIM）
热门推荐
程序人生
06-18 4万+
零、数据加载层：ETL（Extract-Transform-Load） 一、数据运营层：ODS（Operational Data Store） 二、数据仓库层：DW（Data Warehouse） 1. 数据明细层：DWD（Data Warehouse Detail） 2. 数据中间层：DWM（Data WareHouse Middle） 3. 数据服务层：DWS（Data WareHouse Servce） 三、数据应用层：APP（Application） 四、维表层：（Dimension）
数据仓库理论
m0_46191714的博客
02-05 835
仅记录维度建模 维度建模 维度建模划分为事实表、维度表两种类型。 事实表： 在ER模型中抽象出了有实体、关系、属性三种类别，在现实世界中，每一个操作型事件，基本都是发生在实体之间的，伴随着这种操作事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每一个可度量的事件。 事实表还可以被分为三种 （1）事务型事实表 以每个事务或事件为单位，例如一个销售订单记录，一笔支付记录等，作为事实表里的一行数据。一旦事务被提交，事实表数据被插入，数据就不再进行更改，其更新方式为增量更新。 （2）周期型快照事实
对DW（数仓）的理解
weixin_45705483的博客
11-22 733
DW定义 数据仓库(Data Warehouse)可以缩写成DW、DWH，是一个集成的(integrated)、面向主题的(subject oriented)、反应历史变化(time variant)的、相对稳定的(non-volatile)数据集合，用于支持管理决策(decision making support)。 数仓最重要的——数据集成。企业的数据通常是存储在多个异构数据源，要进行统计分析，就先要对数据进行一致性整合——数据集成。 集成之后按照主题进行重组。 DW存储的是历史...
浅谈数据仓库和大数据
端茶倒水个体户的专栏
10-11 1万+
欢迎进QQ群讨论：672600296 ---------------------------------------------------------------------- 前言 数据仓库是今年来适应利用数据支持决策分析的强烈需求而发展起来的数据库应用技术，诚然，数据仓库以数据库为基础，但是他在需求、客户、体系结构与运行机制等方面与数据库存在重大的不同，Kimball说:"我们花了二十...
数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS
moose_killer的博客
04-04 1万+
数据流向 应用示例 何为数仓DW Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。 数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。目前行业比较流行的有：AWS Redshift，Greenplum，Hive等。 数据仓库并不是数据的最终目的..
根据“大数据环境准备、一键启动大数据环境 DW面临的挑战、数仓分层架构与优势、DW/BI数据开发项目流程”写出学习收获
最新发布
07-13
通过学习“大数据环境准备、一键启动大数据环境、DW面临的挑战、数仓分层架构与优势、DW/BI数据开发项目流程”，我获得了以下几点收获： 1. 大数据环境准备：了解了在构建大数据环境之前需要考虑的因素，如硬件需求、软件安装和配置、网络设置等。同时，还学习到了一些常见的大数据技术栈，如Hadoop、Spark、Hive等，以及它们在大数据处理中的作用。 2. 一键启动大数据环境：学习了如何使用一键启动工具来快速部署和配置大数据环境，节省了手动安装和配置的时间和精力。这对于快速搭建开发、测试和生产环境非常有帮助。 3. DW面临的挑战：了解了数据仓库（DW）面临的一些挑战，如数据质量、数据一致性、数据集成等。同时，还学习到了如何通过合适的架构和技术来应对这些挑战，以确保数据仓库的稳定和可靠性。 4. 数仓分层架构与优势：学习了数仓分层架构的设计原则和优势。通过将数据仓库划分为多个层次，如原始数据层、数据集成层、数据存储层和数据展示层，可以实现数据的分层管理和灵活使用，提高数据的可用性和可维护性。 5. DW/BI数据开发项目流程：了解了DW/BI数据开发项目的生命周期和常用的开发流程，如需求分析、数据建模、ETL开发、数据质量控制、报表开发和部署等。这些流程和方法可以帮助团队高效地完成数据开发项目，并保证项目的质量和进度。 总的来说，通过学习以上内容，我对大数据环境准备、数据仓库架构和开发流程有了更深入的了解，并且掌握了一些实际应用的技能和方法。这些知识将对我未来的工作和学习有很大的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值