大数据DW架构记录

最新推荐文章于 2024-05-07 20:03:23 发布
最新推荐文章于 2024-05-07 20:03:23 发布
阅读量431 收藏
点赞数
分类专栏： 大数据流程图

笔记记录

  • DW一直以来是企业信息与决策支持系统的核心组件，随着各类日志、社交、传感等非结构化数据的加入，企业内部数据按指数级增长，传统DW已经达到一个关键临界点——需要大量的资源投入到硬件、优化、支持和维护中，当前大部分使用Apache Hadoop来处理各种来源的大数据，但传统数据仓库不允许最终用户查询非结构化数据，此外，传统数据仓库并没有针对低延迟大容量数据负载和高吞吐量复杂分析工作负载进行优化——而这是大数据的需求之一。

文章出处：https://www.cnblogs.com/tgzhu/p/5874234.html

文章目录

大数据DW逻辑架构

  • 企业级数据仓库架构
    在这里插入图片描述
  • 利用大数据增强你的数据仓库
    在这里插入图片描述
  • 基于大数据技术的DW 逻辑架构
    在这里插入图片描述

IBM产品架构

在这里插入图片描述

微软大数据架构

在这里插入图片描述

elema DW

在这里插入图片描述

某互联网公司DW

在这里插入图片描述

美团平台

在这里插入图片描述

大众点评实时计算

在这里插入图片描述

TDH DW

在这里插入图片描述

Discover

数据挖掘产品
在这里插入图片描述

一年又半
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据仓库介绍（DW）
weixin_65244004的博客
12-26 3218
数据仓库介绍
数据仓库（DW）的分层架构
weixin_41655296的博客
04-22 2436
1 数据仓库“分层”的优势 （1）把复杂的问题简单化；通过把复杂的问题分解成多层，每次只处理简单任务。 （2）减少重复开发；规范数据分层，通过的中间层数据，能够减少极大的重复计算 （3）隔离原始数据 2 四层分层各自的作用 1 数据操作层ODS（Operational Data Store） 数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层 ODS表通常包括两类：一个用于存储当前需要加载的的数据，一个用于存储处理好的历史数据。历史数据一般保存3-6个月后需要清除，以节省
数仓分层——ODS、DW、ADS
最新发布
麦当当的博客
05-07 2598
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
数仓(DW)的架构
mao2430524817的博客
03-28 243
事实表和维度表
【数据开发】DW数仓分层设计架构与同步策略（ODS、DWD、DWS等字段含义）
小哈里的博客
10-04 2192
文章目录 1、什么是数据仓库（DW） 2、DW分层设计架构（ODS，DWD，DWS） 3、数仓同步策略 1、什么是数据仓库（DW） Data warehouse（可简写为DW或者DWH）数据仓库是什么？ 是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听
DW-2种架构的区别
DCHAO的博客
02-20 567
这两种结构的相似之处：一、都是假设操作型系统和分析型系统是分离的；二、数据源（操作型系统）都是众多；三、ETL整合了多种操作型系统的信息，集中到一个企业数据仓库。 最大的不同就是企业数据仓库的模式不同：inmon是采用第三范式的格式，kimball采用了多维模型–星型模型，并且还是最低粒度的数据存储。其次，维度数据仓库可以被分析系统直接访问（这种访问方式毕竟在分析过程中很少使用）。最后就是数据集市的概念有逻辑上的区别，在kimball的架构中，数据集市用维度数据仓库的高亮显示的表的子集来表示。 在kim..
大数据架构师应该做到的.pdf
12-24
Hbase(kv数据存储) Phoenix(hbase 类sql查询) 5）Securlty governance(安全治理) Knox(鉴权⼯具) 数据的权限鉴权通道 平台跟外部的出⼊⼝ Ranger(权限管理⼯具) 架构下各组件的权限管理 记录操作⽇志到solr Atlas(元...
大数据分层理论介绍ppt
04-20
在给出的资料中，提到了DW五层模型，这是一套典型的大数据分层架构，包括ODS（Operational Data Store，操作数据存储层）、DWD（Data Warehouse Detail，数据仓库明细层）、DW（Data Warehouse，数据仓库层）、DM...
大数据应用测试经验总结.pdf
12-24
⼀、从技术架构设计上，分为以下⼏块： 1. 数据采集：采集使⽤java和python程序从⽂件服务器下载⽂件，并把⽂件写⼊kafka、Hbase和Hive、Mysql中； 2. 计算引擎：使⽤Hive on Tez计算引擎实现ETL跑批任务；使⽤...
dw-olap ppt
03-03
仓库中的数据通常以特定主题为导向，面向企业高管和决策者，提供经过增值处理的信息，如汇总数据和历史记录。数据仓库具有集成性、时间变化性和非易失性，确保数据的一致性和可靠性。 仓库不仅是一个数据集合，还是...
数据仓库各行业解决方案集合
08-28
通过对通话记录、上网行为等大数据的挖掘，企业可以发现隐藏的模式，比如异常通话模式可能预示着客户流失，或者特定时段的网络使用高峰可以帮助优化网络资源分配。 综合决策支持系统（CDSS）方案是数据仓库与BI的...
大数据基础知识科普--数据分层（ETL、ODS、DW、DWD、DWM、DWS、DIM）
热门推荐
程序人生
06-18 4万+
零、数据加载层：ETL（Extract-Transform-Load） 一、数据运营层：ODS（Operational Data Store） 二、数据仓库层：DW（Data Warehouse） 1. 数据明细层：DWD（Data Warehouse Detail） 2. 数据中间层：DWM（Data WareHouse Middle） 3. 数据服务层：DWS（Data WareHouse Servce） 三、数据应用层：APP（Application） 四、维表层：（Dimension）
大数据基础
weixin_45889655的博客
10-08 699
大数据hadoop,spark，hive离线数仓的基本常识。
2. Kimball的DW/BI架构解析
liuqiker的博客
01-30 965
数据仓库&维度建模学习笔记
对DW（数仓）的理解
weixin_45705483的博客
11-22 753
DW定义 数据仓库(Data Warehouse)可以缩写成DW、DWH，是一个集成的(integrated)、面向主题的(subject oriented)、反应历史变化(time variant)的、相对稳定的(non-volatile)数据集合，用于支持管理决策(decision making support)。 数仓最重要的——数据集成。企业的数据通常是存储在多个异构数据源，要进行统计分析，就先要对数据进行一致性整合——数据集成。 集成之后按照主题进行重组。 DW存储的是历史...
浅谈数据仓库和大数据
端茶倒水个体户的专栏
10-11 1万+
欢迎进QQ群讨论：672600296 ---------------------------------------------------------------------- 前言 数据仓库是今年来适应利用数据支持决策分析的强烈需求而发展起来的数据库应用技术，诚然，数据仓库以数据库为基础，但是他在需求、客户、体系结构与运行机制等方面与数据库存在重大的不同，Kimball说:"我们花了二十...
大数据仓库之ods原始数据层和dw层设计
残缺的歌的专栏
08-31 2万+
甲问：数仓建模时，涉及到uv(去重用户数)指标时，数据从哪里取，只能走ods原始数据层吗，汇总到dw层时，由于数据量太大，不能到用户粒度，所以在dw层中不包含用户粒度的数据，而且电商的报表分析，几乎每张报表都会涉及到uv指标，如果所有的uv指标都从ods层去获取，那样io是否会成为瓶颈，原始数据量也比较大。举例：比如说有个字段column_a，包含了几百个数据（1-500），统计时可能会统计条件为
大数据DW架构参考
weixin_34405354的博客
11-11 347
2019独角兽企业重金招聘Python工程师标准>>> ...
面向服务体系架构（SOA）和数据仓库（DW）的思考
11-08 241
摘要： 当前业界对面向服务体系架构（SOA）和数据仓库（Data Warehouse，DW）都介绍的很多，提出了很多优秀的解决方案，但是一般是把 SOA 和 DW 单独考虑，SOA 和 DW 有着共同的目标——系统整合，由于基于不同的技术思路，提出了不同的方案。本文将围绕 SOA 和 DW 相结合的思路，基于 IBM 的产品，规划统一的数据库，搭建企业级的技术架构。 SOA 和 DW ...
根据“大数据环境准备、一键启动大数据环境 DW面临的挑战、数仓分层架构与优势、DW/BI数据开发项目流程”写出学习收获
07-13
通过学习“大数据环境准备、一键启动大数据环境、DW面临的挑战、数仓分层架构与优势、DW/BI数据开发项目流程”，我获得了以下几点收获： 1. 大数据环境准备：了解了在构建大数据环境之前需要考虑的因素，如硬件需求...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值