什么叫数据仓库？

最新推荐文章于 2024-07-08 23:38:22 发布
最新推荐文章于 2024-07-08 23:38:22 发布
阅读量636 收藏 3
点赞数
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lbjyjy/article/details/106427743
版权

这里写自定义目录标题

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编
数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，它用于支持企业或组织的决策分析处理。
数据仓库是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的数据库，它的数据基于OLTP（联机事务处理）源系统。
首先，用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；
其次，对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改

OLTP、OLAP（联机分析处理）的区别
a、oltp面向事务的，交易的应用系统；而olap是面向分析的，决策系统的软件
b、oltp用户数多，olap用户少
c、oltp大多是当前数据，有大量的增删改，要求响应及时；OLAP分析的是历史数据，含有大量的查询，数据是提前加工好的
d、oltp三范式建模，olap维度建模
**维度：**就是我们考虑问题的几个侧重面或者说影响因素，比如说一家公司的销售额，销售地区、销售人员、销售时间等等，都会影响销售额，那么这几个都叫做维度
数仓的作用：数据整合、统一口径、提高数据分析的效率
数仓的特点：面向主题、集成、相对稳定、随时间变化而变化（反映历史变化）

**数据源：**是数据仓库系统的数据源泉,通常包括企业各类信息,包括存放于RDBMS中的各种业务处理数据和各类文档数据（手工文件）；各类法律法规、市场信息和竞争对手的信息等等；
RDBMS：关系型数据库管理系统
数据分层情况和原因，解决的什么问题
数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到层次清晰、依赖关系直观
清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算
统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径
复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题
数仓分层方法
delta或stg：缓冲层，抽取当日的增量数据的贴源层，银行通常有delta层
ods：贴源层(近源层)，来源于各个业务系统数据或手工数据（通常是excel或文本），为了后续能够追溯问题，ods层一般不对源系统的表做任何操作，
保留原业务系统的所有字段（字段名、字段类型保持一致），表名采用ods_系统标识_源系统的表名的命名方式，额外新增数据来源和加载时间两个字段，用于记录数据的来源和监控数据的加载情况。
抽取方式：全量或增量，依据数据量大小，通常主数据数据量小，进行全量，交易数据数据量大，增量抽取，增量抽取一般基于时间戳（业务时间、创建时间、修改时间）。
注意：如果源有物理删除，增量抽取将会覆盖不到，这种情况业务系统有物理删除时需手工记录删除记录，手工对数仓进行维护，或者由物理删除改为逻辑删除
DWD：数据明细层，粒度与ods的粒度保持一致，保留ods层的data_source，便于数据跟踪核对。
1、标准码值的统一 （比如男、女；地区代码等，一般通过配置表实现（源、目标、系统、参数类型））
2、数据清洗：去除脏数据，去除后续不用的字段
3、相同功能的表合并（比如线上销售和线下销售合并，个贷和公贷合并）
4、头行表合并一张表
5、统一字段名称和数据类型，及单位（m和cm）
DWS：数据汇总层，按照业务划分，生成字段较多的宽表，用于提供后续的业务查询，采用维度模型（星型模型）建模
注意：
1、星型模型：维表与事实表直接关联，结构清晰，减少关联，查询速度快，不符合数据库的范式要求，数据冗余
2、雪花模型：事实表并不是与所有的维表直接关联，有的维表通过代理建或外键关联，符合数据库的范式，减少冗余，需要多表关联，查询速度慢，很少使用
3、回答星型模型和雪花模型的时候可以举例地区维表（星型模型就是宽表–省、市、县放一起，雪花模型省、市、县三张独立的表）
4、事实表：仅含有维表的ID和相关度量（指标）的表，主键为所有维表ID的组合，数据量的大小取决为维度组合的种类，不可加事实一般不建议放在事实表（如毛利率，但是会将不可加的分子和分母存放到事实表）
5、维表：分析问题的角度，维表有层级维表（产品、地区、时间等）和单一层级维表（供应商如果不分等级的时候、新品标识等），维表通常是全量加载，需要监控历史变化的采用缓慢变化维。
6、缓慢变化维：记录维度相关字段的历史变化信息，基于业务主键用源的增量或全量数据与dim表进行比较，如果发生变化需要进行闭链和开链操作，如果新增直接开链操作，新增代理建作为缓慢变化维表的主键
7、缓慢变化维的事实表处理：缓慢变化的维度落地到事实表中应该用代理建替代原有的业务主键（基于业务主键关联，交易表的时间>=开始时间 and 交易表的时间时间<结束时间），方便报表的建模
DM：数据集市层，主要给报表使用的，通常是一些大宽表
DIM层：维表，主数据，包括产品、门店、时间、客户、供应商、仓库等维度
数据库和数据仓库有什么区别？
1.数据库是面向事务处的，数据是由日常的业务产生的，常更新；
数据仓库是面向主题的,数据来源于数据库或文件，经过一定的规则转换得到，用来分析的。
2.数据库一般是用来存储当前交易数据,数据仓库存储一般存储的是历史数据。
3.数据库的设计一般是符合三范式的，有最大的精确度和最小的冗余度，有利于数据的插入;
数据仓库的设计一般是星型的，有利于查询。

––
––

辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

nllbfd
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据—电商数仓项目
03-01
一、课程简介随着技术的飞速发展，经过多年的数据积累，各互联网公司已保存了海量的原始数据和各种业务数据，所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境，为企业所有决策制定过程，提供系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。二、课程内容本次精心打造的数仓项目的课程，从项目架构的搭建，到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现，我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍，Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等，CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置，透彻了解不同版本框架的区别联系，将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解，对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识，让你在掌握实战经验的同时能够打下坚实的理论基础。三、课程目标本课程以国内电商巨头实际业务应用场景为依托，对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、周、月活跃设备明细，留存用户比例，沉默用户、回流用户、流失用户统计，最近连续3周活跃用户统计，最近7天内连续3天活跃用户统计，GMV成交总额分析，转化率及漏斗分析，品牌复购率分析、订单表拉链表的设计等，让学生拥有更直观全面的实战经验。通过对本课程的学习，对数仓项目可以建立起清晰明确的概念，系统全面的掌握各项数仓项目技术，轻松应对各种数仓难题。四、课程亮点本课程结合国内多家企业实际项目经验，特别加入了项目架构模块，从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题，针对各个技术框架，均有调优实战经验，具体包括：常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习，助学生迅速成长，获取前沿技术经验，从容解决实战问题。
数据仓库架构分层设计
Sleten09的博客
12-09 4805
数据仓库架构分层设计包括STG（数据缓冲层）、ODS（数据操作层）、DWD（数据明细层）、DWS（主题汇总层）和ADM（数据应用层）。 1、STG层 主要完成业务系统结构化数据引入到数据中台，保留业务系统原始数据，缓冲层设计主要保持和数据源的一致性，不做任何类型转换和数据加工处理，为ODS层提供基础数据服务。 2、ODS层 对STG层数据进行类型转换或增量合并处理，得到的全量明细数据，为DWD、DWS和ADM层提供数据服务。 3、DWD层 明细宽表层，用于存放完整详细历史数据。面向业务过程建模，紧紧围绕着
数仓建模，什么是宽表？如何设计？好处与不足
lz_N_one的博客
07-27 6639
数仓建模，什么是宽表？如何设计？好处与不足，如何运用宽表
数据仓库
weixin_63676253的博客
06-14 1049
Bill Inmon：数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。Ralph Kimball：数据仓库是一个将源系统数据抽取、清洗、规格化、提交到维度数据存储的系统，为决策的制定提供查询和分析功能的支持与实现。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。Hive中的元数据是指描述和管理存储在Hive中的数据的数据，也称为表的元数据。
数据仓库宽表
weixin_41650737的博客
06-05 5660
数据仓库宽表
[转]科普 | 什么是宽表？
Toby的博客
03-20 1795
宽表
dataframe pandas 取得当前时间段的后一个时间点数据
a5601564的博客
09-28 2250
数据从星期一到星期五的日线数据形成周线数据，然后想定位到所对应的周线数据的情况，就可以通过 backfill参数实现。 data_day_df.index.get_loc(current_kline.open_time, method='backfill') open_time为当前的日线级数据。运算后得到周线数据。 ...
数据仓库分层
qq_55961709的博客
10-10 3386
数据仓库分层
数据仓库概念梳理
qq_44267691的博客
02-21 1454
上面雪花模型中，学生信息事实表的orderId还继续关联了下一个层级体验课记录表，体验课报名记录表还可能会继续往下关联，对于复杂的系统而言，一般会采用雪花模型，关键层级会较多，而星型模型的关联过于单一，层级不够深，无法支持这种操作。一个维表会对应多个事实表，而维表和事实表所有关联起来就形成一个宽表，其关系如同mysql中的外键索引，如A表中有B_id，A作为维表，B作为事实表，A(维表)可通过B_id来关联B(事实表)，然后关联汇总生成的SQL就是宽表。存放详细历史数据的公共汇总数据层，面向分析主题建模。
数仓建模，宽表是什么？如何设计？
一个写湿的程序猿
03-02 8072
数仓建模，宽表是什么？如何设计？宽表的设计为什么要建设宽表宽表的好处和不足如何设计宽表总结 宽表的设计 其实宽表是数仓里面非常重要的一块，宽表主要出现在dwd 层和报表层，当然有的人说dws 层也有宽表，从字面意义上讲就是字段比较多的数据库表， 通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是dws/dwd 表关联在一起形成的一张数据表。 由于把不同的内容都放在同一张表存储，宽表已经不符合范式设计的模型设计规范而且数仓里面也不强调范式设计，随之带来的就是数据的大量冗余，与之相对应的好处就是查询
谈谈大数据时代企业如何进行数据治理体系建设
数据工匠
10-13 4695
随着云计算、物联网、移动互联网等新一代信息技术的快速发展，人类产生的数据量呈指数级增长。据资料显示，2012年，全球数据量达到2.8ZB，预计到2020年，全球数据量将达到40ZB。大数据蕴含着巨大的价值，如今众多企业已将数据视作企业的宝贵资产。然而，数据价值密度与数据总量成反比。面对巨大的数据规模，如何管理和利用数据，使其发挥价值是企业必须考虑的重要问题。大数据的价值所在使其面临着隐私和安全方面的威胁。大数据治理将组织的部门、流程、人等元素与数据的整个生命周期联系在了一起，对企业数据管理和数据资...
大数据系统 事件 dispatch_大数据架构如何做到流批一体？
weixin_39874269的博客
11-24 278
阿里妹导读：大数据与现有的科技手段结合，对大多数产业而言都能产生巨大的经济及社会价值。这也是当下许多企业，在大数据上深耕的原因。大数据分析场景需要解决哪些技术挑战？目前，有哪些主流大数据架构模式及其发展？今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。大数据处理的挑战现在已经有越来越多的行业和技术领域需求大数据分析系统，...
数据仓库分层简介
最新发布
weixin_72431427的博客
07-08 423
数据仓库：STG、ODS、DW、DM各层简介和数仓分层的意义及必要性
浅谈数据仓库模型设计
weixin_43860144的博客
12-27 1088
数据模型用于有效组织企业的数据资产，其设计工作应当在一定的规范约束下进行，这是建设高质量数据模型的前提条件。因此本文档用于定义数据模型设计实施的规范要求。
Python将str转换为路径类型？(Python convert a str to path type?)
COCO56的博客
10-14 1万+
文章目录1. 按2. 使用案例3. 测试案例3.1. 代码3.2. 结果 1. 按 在Python3.4+中，我们可以使用pathlib模块中的Path类方法进行转换， 关于pathlib模块的更多介绍，可以参考：https://docs.python.org/3/library/pathlib.html#module-pathlib 2. 使用案例 from pathlib import Path str_path = "my_path" # eg: str_path = "D:\360Downloads
数据仓库基本概念
weixin_36190755的博客
09-29 1232
什么是数据仓库？ 数据仓库，英文名称为Data Warehouse，数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 ——比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》...
数据仓库的架构
热门推荐
nafrul的专栏
05-09 2万+
在Teradata的数据仓库架构，
数据仓库—stg层_手把手教你创建BI数据仓库STG层
weixin_35793357的博客
12-30 5006
致力做一个首先想的是怎么帮助别人的人点赞再看，谢谢支持数仓分层通常建立数据仓库，都会分层建模，一般分为3层，STG层，DW层，DM层。STG层STG层一般为贴源层，字面意思就是和源系统贴近的一层，搭建思路总的来说就是保持和源系统数据一致。STG层抽取抽取源系统数据有两种方式，增量抽取和全量抽取；增量抽取对于事实表，数据量增长较快，总的数据量较大，会选择根据规则增量抽取，通常按照时间增量抽取。全量抽...
mysql中的数据如何才能存储到数据仓库
04-24
将数据从MySQL存储到数据仓库需要进行ETL（Extract-Transform-Load）操作。具体步骤如下： 1. 从MySQL数据库中提取需要存储到数据仓库的数据； 2. 对提取的数据进行必要的转换和清洗，确保数据的一致性和准确性； 3...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值