云祁-CSDN博客

原创 2024：尽我所能，敬我不能

2024 年即将划上句号，回望过去一年的风雨兼程。最核心的关键词，是体验、充盈与幸福，这三个词充满了我的 2024。刚提笔时，脑海里还是有点空白，想了想，既然是自己的年终复盘，不就是自己和自己说说话嘛。不如翻开相册和朋友圈来写，不就是这一年发生的点滴了？⏱ 回顾 20241 月关键词...

2024-12-31 20:22:18 888

阿里妹导读在数据驱动决策的时代，一款性能卓越的数据分析引擎不仅能提供高效的数据支撑，同时也解决了传统 OLTP 在数据分析时面临的查询性能瓶颈、数据不一致等挑战。本文将介绍通过 AnalyticDB MySQL + DTS 来解决 MySQL 的数据分析性能问题。引言在应对大规模业务数据的在线统计分析需求时，传统数据库常常难以满足高性能和实时分析的要求。随着业务数据的不断累积，数据量迅速膨胀，虽然...

2025-01-09 20:22:30 43

原创 DAMA CDGP：论述题真题解析之元数据篇

参考答案 : 第一问元数据管理不善容易导致以下问题:冗余的数据和数据管理流程；重复和冗余的字典、存储库和其他元数据存储；不一致的数据元素定义和与数据滥用的相关风险；元数据的不同版本相互矛盾且有冲突，降低了数据使用者的信心；怀疑元数据和数据的可靠性。2022-07一．问题简述元数据：（1）元数据管理不善带给企业的影响（风险）；（2）结合企业情况设计元数据架构（设计元数据管理系统）二、问题解析元数据是...

2024-12-10 20:22:19 696

原创数仓解惑：维度建模不是万金油

数据仓库的演变与目的数据仓库的最初目的是为了数据分析，将企业各系统的数据汇总到一个离线仓库中，以便进行大规模的查询和分析，从而获得业务指标，辅助决策。随着信息化和数字化的发展，数据仓库逐渐演变为数据湖，汇聚了企业的所有数据，其应用场景也不再局限于数据分析。数据仓库的分层理论在数据仓库的实践中，我们通常遵循以下分层理论：ODS（操作数据存储）：作为采集数据层，保持数据原貌，基本不进行加工。CDM（公...

2024-12-09 23:15:11 909

转载数仓实践：数仓中的实际问题与解决方案

整理：数据学堂小 A 进入一家网约车出现服务公司，负责公司数仓建设，试用期主要一项 OKR是制定数据仓库建设规划；因此小 A 本着从问题出发为原点，先对公司数仓现状进行一轮深入了解，理清存在问题，然后在以不忘初心原则提出解决问题方案。相信很多数据建设者在公司发展某个阶段时都会遇到类似小 A 公司问题，也在思考或已经在执行落地解决这些问题方案，希望通过小 A 案例可以给大家一些启发。下面先看看小 A...

2024-11-26 21:38:57 72

原创数仓实践：维度建模不是万金油

最近有些抵触写东西，总感觉自己没有清晰的表达思路和专业的知识体系，写的东西都是更偏向个人经验的一家之谈；之前总想着把文章结构做好，图片做好，表达做好，这样能更容易让大家理解，可以让更多的人接受所要表达的观点；但是，这样写太痛苦了，似乎是为了达到某种结果而刻意为之。最终还是回归表达的本质，传播思路和想法，把这个说清楚就可以了，不管是三言两语还是长篇大论，让看到的人能知道有这么一种观点和想法即可，引发思考之后接受与否已经与表达者无关了；特别是一些偏向专业的内容，只需要让有专业背景和思考的受众了解即可；

2024-11-25 21:13:27 49

原创数仓实践：数据开发需要了解的 BI 数据分析方法

数仓开发经常需要与数据表打交道，那么数仓表开发完成之后就万事大吉了吗？显然不是，还需要思考一下如何分析数据以及如何呈现数据，因为这是发挥数据价值很重要的一个方面。通过数据的分析与可视化呈现可以更加直观的提供数据背后的秘密，从而辅助业务决策，实现真正的数据赋能业务。帕累托分析方法与数据可视化RFM分析与数据可视化波士顿矩阵与数据可视化本文主要介绍了数仓开发应该要了解的常见的数据分析方法，主要有三种：帕累托分析、RFM分析以及波士顿矩阵分析。

2024-10-09 21:25:39 220

转载为什么全网都在看衰数据中台，数据中台是陷阱，还是利器？

今天的文章，我们聊一聊：为什么全网都在看衰数据中台？“数据中台是大数据的下一站”“还没有构建数据中台，你的企业 OUT 了”“为什么说建设数据中台是企业数字化转型的必要环节”...相信很多人，在前两年都在网上看过类似的文章，没错，前两年数据中台的地位很高，说它是“当红炸子鸡”一点也不为过。可疫情过后，一切都变了。现在，我们看到的网上信息都在唱衰数据中台，从被各界追捧到人人唾弃，数据中台发生了什么？...

2024-08-27 09:09:43 391

转载聚焦电商场景，详解抖音集团埋点及归因分析方案

导读本文将聚焦电商场景，介绍抖音集团埋点历程、电商场景解决方案、归因实践及其收益等模块，旨在为数据技术人员在埋点后数据加工过程中所遇到的问题提供有益思路。今天我会从三个模块来给大家介绍下整体的思考：1.电商业务现状与问题2.解决方案3.总结规划分享嘉宾｜张雷雷抖音集团电商数据架构师编辑整理｜冯蕾蕾内容校对｜李瑶出品社区｜DataFun01解决方案1. 埋点历程（1）无日志采集2013 ...

2024-08-26 21:09:47 270

原创 DAMA CDGP：论述题真题解析之数据安全篇

真题一一、问题简述（考点：数据安全）企业应该具备什么样的数据安全能力哪些个人隐私数据需要脱最处理数据脱敏的常用方法二、问题解析信息安全、网络安全、数据安全、和系统安全等个人信息、敏感信息、法律规定的信息等主要考察九种脱敏方法三、Answer3.1 数据安全能力包括：信息安全，包括：脆弱性、威胁、风险、风险等级、数据安全组织、安全流程、数据完善性、加密、混淆／脱敏网络安全，包括：后门、机器人／僵尸、...

2024-08-23 22:59:47 1223

原创 DAMA CDGP 论述题真题解析一：数据安全篇

数据安全治理得需要有足够的资金支持，面向系统、企业内保持方案一致，建立安全战略等，主要包括：数据安全分析现状，数据安全活动、以及基于数据生命周期等数据安全管理三个维度。可通过混淆处理（变得模糊或不明确）或脱敏（删除、打乱或以其他方式更改数据的外观等）的方式来降低数据可用性，同时避免丢失数据的含义或数据与其他数据集的关系。在数据和信息安全实施过程中，首先要评估组织当前的数据状态，确定需要保护的数据范围。因此，不能公开提供服务。在数据和信息安全实施过程中，首先要评估组织当前的数据状态，确定需要保护的数据范围。

2024-08-22 20:58:13 254

原创数仓实践：有关数仓架构的一些设计

在早期数仓建设中，大多以批处理的方式为基线进行开发，随着业务的发展，需求对实效性和准确性要求越来越高，于是有了实时数据处理的流程，随之出现了 Lambda、Kappa 以及 Kappa+ 常见的数仓架构。

2024-08-18 15:56:34 246

原创数仓解惑：什么是主数据？

主数据（MasterData）：在企业中用来定义业务对象的、具有持续性、非交易类的数据。相对于交易类数据，主数据是相对稳定的数据。

2024-08-12 23:13:43 219

原创数仓解惑：一致性维度和一致性事实

在 Kimball 的维度建模的数据仓库中，关于多维体系结构（MD）有三个关键性概念：总线架构（Bus Architecture），一致性维度（Conformed Dimension），一致性事实（Conformed Fact）。多维体系结构(总线架构) 数据仓库领域里，有一种构建数据仓库的架构，叫 Multidimensional Architecture（MD），中文一般翻译为“多维体系结构”，也称为“总线架构”（Bus Architecture）。多维体系结构的创始人是数据仓库领域中最有实践经验的 K

2024-08-01 21:02:35 126

原创数仓实践：一文读懂数仓 ODS 层模型设计

具体使用的方式可用全外连接（full outer join） + 数据全量覆盖重新加载（insert overwrite）的方式，即如日调度，则将当天增量数据和前一天全量数据做全外连接，重新加载为最新的全量数据。具体使用的方式可用主键去重（row_number）+ 数据全量覆盖重新加载（insert overwrite）的方式，即如日调度，则将当天增量数据和前一天全量数据合并后根据主键去重，重新加载为最新的全量数据。其中：OLD 表存储最近 N 天之前的数据，这部分数据不再使用 delta 增量数据更新。

2024-07-28 14:13:29 1068

原创数仓实践：维度建模标准规范定义

比例型指标定义方式为：派生指标+rb（ration by）+占比组，用于例如：“卖家最近1天销售金额行业占比”，派生指标为卖家最近1天销售金额，占比组为行业，可定义为pay_amt_1d_rb_industry。其定义方式为：派生指标+排名范围（例如：行业、省份、一级类目等）+排名方式（例如：升序排名ark，降序排名drk）+topN+对象名+s（s代表指标为字符串）。例如，新发商品数，重发商品数，新增注册会员数，订单支付金额，这类指标需维护原子指标及业务限定，在此基础上根据指定的统计粒度创建派生指标。

2024-07-17 01:00:28 775

原创数仓实践：数据仓库建设公共规范指南

数据模型的事实表设计在维度模型事实表的基础上，结合数据使用场景的具体实践，进行一定扩展，采用宽表设计方法。比如会员表，建议拆分为核心表和扩展表。建立核心模型与扩展模型体系，核心模型包括的字段支持常用核心的业务，扩展模型包括的字段支持个性化或是少量应用的需要，必要时让核心模型与扩展模型做关联，不能让扩展字段过度侵入核心模型，破坏了核心模型的架构简洁性与可维护性。在指标定义中，采取组件化的形式，进行指标标准化定义，先规范定义，后生产，全生命周期控制，保障数据口径统一，减少重复建设，强调数据复用和共享。

2024-07-15 19:53:14 1570

转载深入解读：数据团队工作全貌

来源：网络整理|全文共4946个字，建议阅读13分钟今日分享从不同角度看数据团队的工作。作为一个『二进宫』的阿里人，这个月刚好是入职 Lazada 的两周年。虽然两次与阿里结缘都是在数据团队（DT），但这次从数据中台到业务前台，从个人贡献者到 TL，团队和身份的转变让我对个人的发展及未来要做的事情都有了更深入的了解和认识，这里也和大家分享一下在业务前台做数据工程的经验与思考。作为一名前端...

2024-07-15 09:09:48 153

原创数仓实践：浅谈数仓建模宽表设计

主要讲解了一下几个方面为什么要建设宽表宽表的不足如何设计宽表宽表到底多宽主次分离冷热分类稳定与不稳定分类设计宽表的理论其实说白了就是一句话：高内聚低耦合，我们要从在业务、ETL 刷新、指标属性、数据来源等角度，让高度内聚的属性、描述、度量放在一个表中。基本可以从两个维度矩阵进行切割：第一：按实体属性可能涉及的业务范围进行划分。当前用户的基本属性和维度，数据相对静态，修改较少。统计的集合包括所有实体对象。用户在统计日发生的行为度量指标。

2024-07-14 22:40:48 1154

转载数仓实践：详解大厂实时数仓建设方案

实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，无法支撑实时场景的数据需求。即使能将调度频率设置成小时，也只能解决部分时效性要求不高的场景，对于实效性要求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。2. 实时技术日...

2024-07-13 22:09:49 173

转载数仓解惑：DWD、DWS、ADS 哪一层建设是最难的？

在数据仓库建设中，dwd、dws、ads 三层架构是非常关键的部分。而其中，哪一层建设最难呢？相信这个问题困扰了不少数据工程师。在今天的推文中，我们将详细探讨这个问题，并解释为什么我们认为 dwd 层是最难建设的。Dwd层：数据仓库的基石首先，我们来看看 dwd 层。dwd，即数据仓库详细数据层，是整个数据仓库的基础。为什么说 dwd 层的建设最难呢？因为它不仅要保证数据的质量，还要考虑数据的使用...

2024-07-12 18:40:51 216

原创数仓实践：浅谈维度建模优劣分析

维度建模（dimensional modeling）是数据仓库建设中的一种数据建模方法，Kimball 最先提出这一概念。其最简单的描述就是，按照事实表、维度表来构建数据仓库、数据集市，这种方法最被人广泛知晓的名字就是星型模式（Star-Schema）。实体关系（E-R）建模：通常用于为单位的所有进程创建一个复杂的模型，这种方法已被证实在创建高效的联机事务处理 (OLTP)系统方面很有效；相反，维度建模针对零散的业务进程创建个别的模型。

2024-07-10 22:23:36 279

原创数仓实践：关于维度表的设计与实践

1、共享维度表。比如在阿里巴巴的数据仓库中，商品、卖家、买家、类目等维度有且只有一个。所以基于这些公共维度进行的交叉探查不会存在任何问题。2、一致性上卷，其中一个维度的维度属性是另一个维度的维度属性的子集，而两个维度的公共维度属性结构和内容相同。比如在阿里的商品体系中，有商品维度和类目维度，其中类目维度的维度属性是商品维度的维度属性的子集，且有相同的维度属性和维度属性值。这样基于类目维度进行不同业务过程的交叉探查也不会存在任何问题。3、交叉属性。两个维度具有部分相同的维度属性。

2024-07-10 11:50:26 828

原创数据仓库：关于事实表的设计与实践

事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述：一种是维度属性组合所表示的细节程度；一种是所表示的具体业务含义。英文名：我们预设定了业务过程名作为命名的一部分，因此候选部分用户以下划线连接的英文缩写进一步表达逻辑模型的业务含义。名称：建议以相对完整的中文短语描述名称，主要包括业务主体、业务过程，比如淘宝交易下单业务事实表。

2024-07-08 20:17:09 807

原创从数字化营销与运营视角：看流量效果的数据分析

基于数据打通的“全链路”营销是当下的“时髦”，应用它的前提是什么？深度营销和运营的关键数据如何获得？如何利用数据进行更精准的营销投放？如何利用数据优化投放的效果？如何促进消费者的转化，以及激活留存的客户，并不断提高他们的忠诚度？应该采用什么样的数据战略？宋星老师在《数据赋能：数字化营销与运营实战》中给出了以上问题的答案，最近正在读这本书，所以项采用框架拆解方式进行记录，一来通过梳理读书笔记倒逼自己...

2024-07-07 23:27:46 1290

原创《数据赋能：一本书讲透数字化营销与运营》—— 流量效果的数据分析

是需要数据科学家针对你的购物流程建立的自定义或算法模型，该模型能够最佳匹配用户转化的过程。该模型在建立、维护和使用上都最困难和最耗时的归因模型，但它能够最精确地评估各流量渠道对用户过程的影响效果。一般而言，在行业内除非强调是归因转化率，或者归因收入、归因ROAS等，否则都默认是末次交互转化率。原则一：细分。打开 Display 黑箱查看其内部的诸多广告就是细分。原则二：从大处着手。在细分后，查看流量多的流量渠道，因为这些流量渠道的花费大。当然。如果可能，那么你可以径直查看花费大的流量渠道表现。

2024-07-07 23:21:37 968

原创《数据赋能：一本书讲透数字化营销与运营》—— 从正确的数据观开始

宋星老师在《》中给出了以上问题的答案，最近正在读这本书，所以项采用框架拆解方式进行记录，一来通过梳理读书笔记倒逼自己提升对数字化营销的认知，二来分享给需要的小伙伴们，供相互学习交流使用。本书围绕数据为企业数字化营销和业务增长赋能的两大主线——数据驱动和数据分析展开介绍，同时辅以近几年在中国企业界实际应用的真实案例进行生动讲解。主要涉及的内容有：数据的来源、获取与接入，，数据驱动的品牌、效果广告投放，，利用数据进行流量的宏观和微观转化，。

2024-06-26 20:46:35 681

原创 DAMA 数据管理知识体系指南：第十章参考数据与主数据

关键步骤——1 数据模型管理：对于主数据来说，在企业级使用的术语和定义应该与整个组织所进行的业务相关联，而不必依赖于源系统贡献的数据值。主数据是“以与业务活动相关的通用和抽象概念形式提供业务活动语境的数据，包括业务交易中涉及的内部和外部对象的详细信息（定义和标识符），如客户、产品、雇员、供应商和受控域（代码值）”。第十章在CDGA分值占比不高，CDGP分值占比较高，主要考点包括：定义、目标、原则、参考数据及主数据管理好处、异同点、哪些属于主数据、活动、工具、度量指标等基本概念。提出主数据的最佳版本。

2024-06-17 19:45:25 1844

原创 DAMA 数据管理知识体系指南：第七章数据安全

5）已完成正式风险评估分析的业务单位的百分比。第七章在 CDGA|CDGP 考试中的分值占比较高，主要考核知识概念的熟练程度，主要考点包括：数据安全定义、目标与原则、驱动因素、安全过程 4A+E、安全手段（加密类型、脱敏类型与方法等）、PIC 数据类型、安全法律法规、活动、度量指标等。4A：访问（Access）、审计（Audit）、验证（Authentication）、授权（Authorization）。4）数据与特定业务流程的风险映射，与销售点设备相关的风险将包含在金融支付系统的风险预测中。

2024-06-16 00:21:33 930

原创 DAMA 数据管理知识体系指南：第五章数据模型与设计

关系捕获概念实体之间的高级别交互、逻辑实体之间的详细交互、物理实体之间的约束。第五章是 CDGA|CDGP 考试的重点考核章节之一，分值占比高，知识点比较密集，重点考查知识点包括：数据建模的定义、6 种数据模型及建模方法、业务驱动因素、数据模型目标与原则、数据模型组件、建模的数据类型、数据模型级别、数据建模和设计活动等。实体中属性的物理展现为表、视图、文档、图形或文件中的列、字段、标记或节点等。概念数据模型仅包括给定的领域和职能中基础和关键的业务实体，同时也给出实体和实体之间关系的描述。

2024-05-29 23:30:25 1151

原创 DAMA 数据管理知识体系指南：第三章数据治理

由【数据管理专业人员】、【业务策略人员】，在【数据治理组织】的支持下共同起草数据治理的目标、原则和制度，然后由【数据管理专员】和【管理人员】审查并完善，最后由【数据管理委员会】终审、修订和发布。：需要组织文化的转变和持续的变革管理，文化包括组织思维和数据行为，变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。以下为基于 DAMA-DMBOK2 梳理的核心常考知识点：驱动因素、目标和原则、组织和管理职责、数据治理活动、实施指南、组织和文化等。：理解和计算数据对组织的经济价值的过程。

2024-05-27 21:21:32 1022

原创 DAMA 数据管理知识体系指南：第一章数据管理

第一章在 CDGA|CDGP 考试中分值占比均不是很高，主要侧重点是考概念性的知识，理解数据管理的目标原则、还有与其他概念的区别点，同时掌握几个关键核心的图（车轮图、六边形图、语境关系图）。数据管理（Data Management）：为了交付、控制、保护并提升数据和信息资产的价值，在其整个生命周期中制订计划、制度、规程和实践活动，并执行和监督的过程。1 数据管理章程：总体愿景、业务案例、目标、指导原则、成功衡量标准、关键成功因素、可识别的风险、运营模式等。【满足自己和利益方的需求。

2024-05-23 23:24:07 1039

原创 DAMA：数据治理 CDGA/CDGP 认证考试备考经验分享

主要方式就是看书，包括《DAMA-DMBOK2 数据管理知识体系指南》和《穿越数据的迷宫：数据管理执行指南》，这两本书在网络都有售卖。通读教材，了解基本内容和不同知识领域自己的掌握情况，做到心中有数精读教材，结合笔记、思维导图系统梳理知识点，这一遍时间最长结合了数贝（厦门数贝信息科技有限公司提供的“databok数据课”，可以在微信中搜索到小程序“数贝”）提供的练习题进行模拟训练，对训练过程中出错的题目反向查找知识点进行强化学习，加深理解查漏补缺，快速过一遍教材。

2024-05-18 16:25:51 2779 1

原创 DAMA：CDGP 考试重点及知识点分解

5、数据架构实施，评估和风险、组织和文化。1、数据治理业务驱动因素、目标和原则。1、数据质量业务驱动因素、目标和原则。1、数据架构的业务驱动、成果和实施。1、主数据业务驱动因素、目标和原则。1、元数据管理业务驱动，目标和原则。4、数据治理实施指南、组织和文化。1、业务驱动因素、目标和原则。2、数据治理组织和管理职责。1、数据安全业务驱动因素、单选（3）、多选（1）单选（2）、多选（4）单选（2）、多选（4）6、参考数据和主数据治理。2、数据架构的基本概念。4、数据架构管理工具。6、数据架构评估指标。

2024-05-17 14:38:21 1227

阿里云云计算ACP.xmind

阿里云大数据ACP.xmind

空空如也