![](https://img-blog.csdnimg.cn/20210705094726372.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据仓库
文章平均质量分 78
本栏为数据仓库学习
<一蓑烟雨任平生>
没成功之前才华等于狗屎,只有成功了才证明你的一切!
展开
-
一篇文章搞懂数据埋点与数据同步
目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件追踪(Event Tracking),它主要针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。埋点是为了满足快捷、高效、丰富的数据应用而做的用户行为过程及结果记录。数据埋点是一种常用的数据采集的方法。埋点是数据的来源,采集的数据可以分析网站/APP的使用情况,用户行为习惯等,是建立用户画像、用户行为路径等数据产品的基础原创 2021-12-05 13:26:22 · 1554 阅读 · 0 评论 -
大数据开发工程师需要了解的【数仓中事实表的设计】
目录(1)如何正确看待事实表(2)企业中事实表的设计原则(1)如何正确看待事实表(2)企业中事实表的设计原则原则一:尽可能包含所有与业务过程相关的事实在事实表中应该尽量包含所有与业务过程相关的事实,即使存在冗余,但是因为事实通常为数字类型,带来的存储开销也不会很大。原则二:只选择与业务过程相关的事实比如在订单的下单这个业务过程的事实表设计中,不应该存在支付金额这个标识支付业务过程的事实。原则三:分解不可加性事实为可加的组件比如订单的优惠率,应该分解为订单原价金额与订单优惠金额两个事实存储在原创 2021-11-23 18:14:42 · 2191 阅读 · 0 评论 -
大数据开发工程师需要了解的【数仓中的维度设计】
目录(1)数仓模型如何分层(2)企业数仓模型分层架构(3)维度设计如何理解(4)维表是怎么生成的(5)维度整合的两种策略(6)维度拆分的最佳方案(6)维度拆分的最佳方案(1)数仓模型如何分层企业常用的数据模型分为三层:操作数据层(ODS)公共维度模型层(CDM)数据应用层(ADS)其中公共维度模型层包括:明细数据层(DWD)汇总数据层(DWS)操作数据层(ODS) :把操作系统数据几乎无处理地存放在数据仓库系统中。同步:结构化数据增量或全量同步数仓结构化 :非结构化(日志)原创 2021-11-16 22:06:07 · 4157 阅读 · 2 评论 -
大数据开发工程师需要了解的【数仓中的指标体系】
目录(1)为什么要构建指标体系(2)如何搭建有效的指标体系(3)指标类型及关系(4)企业常用的指标体系方法论(1)为什么要构建指标体系指标体系的理解:指标体系是将零散单点的具有相互联系的的指标,系统化的组织起来。通过单点看全局,通过全局解决单点的问题。比如:本月销售净利润为20W,上月销售净利润为30W。从单点看是盈利的,但从全局看是亏损的。建立业务量化衡量的标准:指标体系可以建立业务量化衡量的标准,数据分析的目的就是说明、衡量、预测业务的发展,比方说衡量一个门店经营的状况,一个门店月净利润原创 2021-10-29 19:31:57 · 1667 阅读 · 0 评论 -
一篇文章讲清楚数据仓库模型设计!
目录(1)为什么需要数据建模(2)最实用的建模方法论(3)维度建模的构建方式(3.1)星型模型(3.2)雪花模型(4)企业项目中数仓的实施流程(5)维度模型设计的4个决策(6)维度模型的规范化如何定义(7)维度模型的名词术语(1)为什么需要数据建模数据建模就是数据组织和存储的方式,它强调从业务、数据存取和使用角度合理存储数据。如上图所示,我们通过数据和程序对比来比较我们为什么需要数据建模:比如在我们平常写程序,在写程序之前要做程序设计,那么为什么需要程序设计,核心的原因有以下三点:出于性能的考原创 2021-10-24 19:27:13 · 1136 阅读 · 0 评论 -
数仓学习|几种常见的数据同步方式
目录前言(1)常见数据同步方式(1.1)直连同步(1.2)实时增量同步(日志解析)(2)流式数据集成实现前言数据仓库的特性之一是集成,即首先把未经过加工处理的、不同来源的、不同形式的数据同步到ODS层,一般情况下,这些ODS层数据包括日志数据和业务DB数据。对于业务DB数据而言(比如存储在MySQL中),将数据采集并导入到数仓中(通常是Hive或者MaxCompute)是非常重要的一个环节。那么,该如何将业务DB数据高效准确地同步到数仓中呢?一般企业会使用两种方案:直连同步实时增量同步(数据库原创 2021-10-13 21:40:11 · 3337 阅读 · 0 评论 -
数仓学习|初始数仓
(1)图解数仓架构先看图,图解数仓架构:从以下三个方面去了解数仓:Where:数据仓库的数据从哪里来How:对数据仓库的建设我们要做哪些事情What:数据仓库的应用场景以及它所发挥的作用(1)先看第一个部分操作系统,就是业务处理系统,OLTP产生的数据大概有三类:DB:业务数据(MySQL),比如下单、送货ClickData:点击流的数据(日志文件),比如用户的点击收藏数据OtherData:比如Tcp过来的数据、第三方接口过来的数据也就是说数据仓库的数据来源于上面三种数据类型原创 2021-10-13 18:01:18 · 424 阅读 · 0 评论 -
自然主键和代理主键的区别
关系数据库主要依靠主键区分不同的记录:主键又有自然主键代理主键自然主键:就是充当主键的字段本身具有一定的含义,是构成记录的组成部分,比如学生的学号,除了充当主键之外,同时也是学生记录的重要组成部分。代理主键:就是充当主键的字段本身不具有业务意义,只具有主键作用,比如自动增长的ID。以上内容仅供参考学习,如有侵权请联系我删除!如果这篇文章对您有帮助,左下角的大拇指就是对博主最大的鼓励。您的鼓励就是博主最大的动力!...原创 2021-10-11 16:37:42 · 722 阅读 · 0 评论 -
维度表和事实表的区别
简单解释:事实表就是交易表。维度表就是基础表。二者的区别:维度表的冗余很大,主要是因为维度一般不大(相对于事实表来说的),而维度表的冗余可以使事实表节省很多空间。事实表一般都很大,如果以普通方式查询的话,得到结果一般发的时间都不是我们可以接受的。所以它一般要进行一些特殊处理。如SQL Server 2005就会对事实表进行如预生成处理等。事实表一般是没有主键的,数据的质量完全由业务系统来把握。以上内容仅供参考学习,如有侵权请联系我删除!如果这篇文章对您有帮助,左下角的大拇指就是对博原创 2021-10-11 16:36:29 · 4651 阅读 · 0 评论 -
数据仓库之建模方法论
目录转载 2021-07-18 21:59:24 · 1202 阅读 · 0 评论 -
数据仓库之命名规则
目录原创 2021-07-11 23:25:50 · 1829 阅读 · 0 评论 -
数据仓库之理论概述
目录(1)什么是数据仓库(2)数据仓库的特点(3)数据仓库发展历程(4)使用数据仓库有哪些优势?(5)数据库、数据仓库、数据湖的区别(6)数仓分层(6)(1)什么是数据仓库数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。(2)数据仓库的特点1.数据仓库的数据是面向主题的与传统数据库面向应用进行原创 2021-07-08 22:16:58 · 523 阅读 · 1 评论