云祁QI

大家好，我是云祁。一个企业的数据仓库或者数据中台建设，往往都需要经历前期混沌摸索的阶段，踩过无数的坑之后，才会逐渐建设完善，形成适合自己的一套数仓体系和建设规范。今天就和大家分享一篇构建高质量数仓的踩坑好文章～一、 大数据仓库较差的建设先来回忆一下数仓建设经常遇到的一些坑或现象。二、构建数仓建设质量指标体系还在为如何评估数仓建设质量而犯愁么？本文在常规的分层建设、划分主题外将带大家一起探索出了一条...

对于数仓的分层，大家最耳熟能详的就是基于OneData方法论的三层数仓划分，分别是：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimenions Model）和数据应用层（ADS，Application Data Store）。​当然，涉及到每一层具体该怎么建模，可能大家都有自己的理解。数据建模无疑是重中之重，如果我们把指标比作树上的果实，那么模型就好比是大树的躯干，想让果实结得好，必须让树干变得粗壮。​我们先来回想下，构建数据中台的初衷是

为什么需要数据建模？为什么要进行数据仓库建模？随着DT时代互联网、智能设备等信息技术的发展，数据开始井喷式的增长，如何讲这些数据进行有序、有结构地分类组织存储是我们面临的一个挑战。如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置，而不是乱糟糟的大数据的数仓建模是通过建模的方法更好的组织、存储数据，以便在 性能、成本、效率和数据质量之间找到最佳平衡点。一般主要从下面四点考虑...

文章目录一、前言二、什么是维度建模三、维度建模的基本要素3.1 事实表3.2 维度表一、前言学习数据仓库，你一定会了解到两个人：数据仓库之父比尔·恩门（Bill Inmon）和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展，其中Inmon主张自上而下的架构，不同的OLTP数据集中到面向主题、集成的、不易失的和时间变化的结构中，用于以后的分析;且数据可以通过下钻到最细层，或者上卷到汇总层；数据集市应该是数据仓库的子集;每个数据集

在工作中，接触到关于数仓建模的工作，说是建模，其实个人感觉自己也就入个门而已，有一点儿自己的理解，最近看了本阿里的书，《大数据之路》，里面有很多数仓相关的内容，很不错，关于数仓分层的理解分享给大家。

最近看了《Hadoop构建数据仓库实践》这本书，收获很多，把一些关于数仓实践的心得我会写出来分享给大家，希望大家伙儿能互相学习，共同进步，☆⌒(*＾-゜)v THX!!

数据中台的概念是最早由阿里巴巴首次提出，是为了应对内部众多业务部门千变万化的数据需求和高速时效性的要求而成长起来的，它既要满足业务部门日常性的多个业务前台的数据需求，又要满足像双十一，六一八这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂活动场景业务系统的解耦问题，而在技术、组织架构等方面采取的一些变革。

数据湖是较新的技术，拥有不断演变的架构。

文章目录一、前言二、“埋点”知多少三、“埋点”有何用四、几种埋点“姿势”4.1 前端埋点4.1.1 代码埋点4.1.2 可视化埋点4.1.3 无埋点4.2 后端埋点4.3 其它埋点五、最理想的埋点方式？六、流量分析系统中日志埋点6.1 选择客户端埋点6.2 服务器规划七、日志埋点的实现7.1 客户端埋点7.2 服务器端开发（关键代码）一、前言所谓的埋点就是在应用中特定的流程收集一些信息，用来跟...