云祁-CSDN博客

原创 2024：尽我所能，敬我不能

2024 年即将划上句号，回望过去一年的风雨兼程。最核心的关键词，是体验、充盈与幸福，这三个词充满了我的 2024。刚提笔时，脑海里还是有点空白，想了想，既然是自己的年终复盘，不就是自己和自己说说话嘛。不如翻开相册和朋友圈来写，不就是这一年发生的点滴了？⏱ 回顾 20241 月关键词...

2024-12-31 20:22:18 954 2

转载七年磨一剑！《大数据之路2》全新升级重磅上市（文末赠书）

点击上方 "云祁的数据江湖"关注,星标一起成长为什么要读“科技史”？约400年前，英国哲学家弗兰西斯·培根，这位科学时代的预言家给出--文末赠书--7年前，《大数据之路：阿里巴巴大数据实践》一书横空出世，当时正值大数据概念及其所代表的技术力量蓬勃发展的时期，各行各业开始感受到数据规模不断增长所带来的压力，以及面临的挑战和机遇。这本书凝聚了阿里巴巴在大数据实践过程中积累的经验、教训和方法，在业界掀...

2025-03-04 08:22:23 51

转载数仓建模：一种动态字段表模型设计方法与应用

0 引言在当今数据驱动的业务环境中，数据的结构和需求往往是多变的。尤其是在一些新兴的业务场景或快速迭代的项目中，传统的固定字段表结构可能无法满足灵活性和扩展性的要求。此时，动态字段表模型的设计就显得尤为重要。以下将详细介绍一种基于实际项目经验的动态字段表模型设计方法。1 问题背景电商公司搭建一个商品管理系统，该电商公司销售的商品种类繁多，涵盖了电子产品、服装、家居用品、食品等多个品类。每个品类的商...

2025-03-03 08:22:37 42

转载如何用大模型提升数据开发各个环节效率

如何用大模型提升数据开发各个环节效率一点感受，大模型做一个完整的技术方案，很难；但如果大模型改造我们工作流程中的每一个环节，大有可为。也就是，人类专家负责构建业务流程，大模型来完成流程环节，比幻想大模型一下子做成什么事情，可行的多。这篇文章从数据仓库的日常研发视角出发，分析大模型可以对每一个环节做哪些效率的提升。## |0x00 推理模型和非推理模型的区别我们都知道要用DeepSeek的R1，这...

2025-03-01 08:22:23 30

转载从1到2: 我的大数据成长之路

我是大熊！某大厂数据负责人。文末分享：我如何5年就带团队了？截图是我重读《大数据之路1》做的笔记。因为2看了一些，它已经发展到走出阿里的阶段，视野更开拓，而我越觉得自己基础不扎实，所以才有此重读。读书的意义是把前辈的经验，映射到自己的环境去解决实际问题。首篇：日志采集它有什么资格放首位？我问自己。业界公认电商平台玩的就是流量，核心就是做流量分配，因此我回看了阿里24Q4财报。淘天集团Custome...

2025-02-27 08:22:26 26

原创超全面数仓建设规范指南（干货建议收藏）

OneData：包括一整套数据规范定义标准、数据模型架构设计最佳实践和产品工具体系来保障数据资产标准化、规范化建设。旨在面向各行各业大数据建设、管理及应用诉求，通过输出实战沉淀的大数据建设体系OneModelOneIDOneServic（产品、技术、方法论），一站式提供集数据引入、规范定义、数据建模、数据研发、数据萃取、数据资产管理和数据服务的全链路智能数据构建及管理服务，助力企业打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系。

2025-02-26 20:36:20 22

原创保姆级教程！DeepSeek神级指令拆解！小白秒变提示词大师！

????前言：为什么你总在AI对话中碰壁？「明明问的是同样问题，同事3分钟出方案，你却得到一堆车轱辘话？」「看别人用AI写爆款文案、做数据分析，自己却连基础指令都组织不好？」这不是你的问题！90%的新手都不知道：❗ AI工具存在「暗黑模式」→ 不会说「咒语」就只能得到平庸答案❗ 提问方式决定命运 → 高手都在用「结构化指令模板」欢迎大家关注，一起学习交流????第一章：速成心法——指令工程师的3大核心法则...

2025-02-25 08:22:27 273

转载再谈谈 “数据价值” 这个话题

前言这次还是想聊聊数据价值这个话题，最近群友问的比较多，甚至遇到过的cto/cdo（数据总监）也在苦于如何展现价值，如何向更大的老板汇报，去呈现价值也是大家都在思考的一件事，之前也讲过一期简单的数据价值内容，可能细节案例还不够，那我们这一期还是谈一下数据价值，搞清楚它，以及在总结时，面试时如何说数据价值。价值概念价值可以理解为你对团队创造贡献或你能为团队创造的贡献，例如某大厂专家岗加入某小厂可以带...

2025-02-24 20:22:38 25

转载无缝集成 MySQL，解锁秒级数据分析性能极限

阿里妹导读在数据驱动决策的时代，一款性能卓越的数据分析引擎不仅能提供高效的数据支撑，同时也解决了传统 OLTP 在数据分析时面临的查询性能瓶颈、数据不一致等挑战。本文将介绍通过 AnalyticDB MySQL + DTS 来解决 MySQL 的数据分析性能问题。引言在应对大规模业务数据的在线统计分析需求时，传统数据库常常难以满足高性能和实时分析的要求。随着业务数据的不断累积，数据量迅速膨胀，虽然...

2025-01-09 20:22:30 64

原创 DAMA CDGP：论述题真题解析之元数据篇

参考答案 : 第一问元数据管理不善容易导致以下问题:冗余的数据和数据管理流程；重复和冗余的字典、存储库和其他元数据存储；不一致的数据元素定义和与数据滥用的相关风险；元数据的不同版本相互矛盾且有冲突，降低了数据使用者的信心；怀疑元数据和数据的可靠性。2022-07一．问题简述元数据：（1）元数据管理不善带给企业的影响（风险）；（2）结合企业情况设计元数据架构（设计元数据管理系统）二、问题解析元数据是...

2024-12-10 20:22:19 764

原创数仓解惑：维度建模不是万金油

数据仓库的演变与目的数据仓库的最初目的是为了数据分析，将企业各系统的数据汇总到一个离线仓库中，以便进行大规模的查询和分析，从而获得业务指标，辅助决策。随着信息化和数字化的发展，数据仓库逐渐演变为数据湖，汇聚了企业的所有数据，其应用场景也不再局限于数据分析。数据仓库的分层理论在数据仓库的实践中，我们通常遵循以下分层理论：ODS（操作数据存储）：作为采集数据层，保持数据原貌，基本不进行加工。CDM（公...

2024-12-09 23:15:11 922

转载数仓实践：数仓中的实际问题与解决方案

整理：数据学堂小 A 进入一家网约车出现服务公司，负责公司数仓建设，试用期主要一项 OKR是制定数据仓库建设规划；因此小 A 本着从问题出发为原点，先对公司数仓现状进行一轮深入了解，理清存在问题，然后在以不忘初心原则提出解决问题方案。相信很多数据建设者在公司发展某个阶段时都会遇到类似小 A 公司问题，也在思考或已经在执行落地解决这些问题方案，希望通过小 A 案例可以给大家一些启发。下面先看看小 A...

2024-11-26 21:38:57 125

原创数仓实践：维度建模不是万金油

最近有些抵触写东西，总感觉自己没有清晰的表达思路和专业的知识体系，写的东西都是更偏向个人经验的一家之谈；之前总想着把文章结构做好，图片做好，表达做好，这样能更容易让大家理解，可以让更多的人接受所要表达的观点；但是，这样写太痛苦了，似乎是为了达到某种结果而刻意为之。最终还是回归表达的本质，传播思路和想法，把这个说清楚就可以了，不管是三言两语还是长篇大论，让看到的人能知道有这么一种观点和想法即可，引发思考之后接受与否已经与表达者无关了；特别是一些偏向专业的内容，只需要让有专业背景和思考的受众了解即可；

2024-11-25 21:13:27 69

原创数仓实践：数据开发需要了解的 BI 数据分析方法

数仓开发经常需要与数据表打交道，那么数仓表开发完成之后就万事大吉了吗？显然不是，还需要思考一下如何分析数据以及如何呈现数据，因为这是发挥数据价值很重要的一个方面。通过数据的分析与可视化呈现可以更加直观的提供数据背后的秘密，从而辅助业务决策，实现真正的数据赋能业务。帕累托分析方法与数据可视化RFM分析与数据可视化波士顿矩阵与数据可视化本文主要介绍了数仓开发应该要了解的常见的数据分析方法，主要有三种：帕累托分析、RFM分析以及波士顿矩阵分析。

2024-10-09 21:25:39 234

转载为什么全网都在看衰数据中台，数据中台是陷阱，还是利器？

今天的文章，我们聊一聊：为什么全网都在看衰数据中台？“数据中台是大数据的下一站”“还没有构建数据中台，你的企业 OUT 了”“为什么说建设数据中台是企业数字化转型的必要环节”...相信很多人，在前两年都在网上看过类似的文章，没错，前两年数据中台的地位很高，说它是“当红炸子鸡”一点也不为过。可疫情过后，一切都变了。现在，我们看到的网上信息都在唱衰数据中台，从被各界追捧到人人唾弃，数据中台发生了什么？...

2024-08-27 09:09:43 436

转载聚焦电商场景，详解抖音集团埋点及归因分析方案

导读本文将聚焦电商场景，介绍抖音集团埋点历程、电商场景解决方案、归因实践及其收益等模块，旨在为数据技术人员在埋点后数据加工过程中所遇到的问题提供有益思路。今天我会从三个模块来给大家介绍下整体的思考：1.电商业务现状与问题2.解决方案3.总结规划分享嘉宾｜张雷雷抖音集团电商数据架构师编辑整理｜冯蕾蕾内容校对｜李瑶出品社区｜DataFun01解决方案1. 埋点历程（1）无日志采集2013 ...

2024-08-26 21:09:47 374

原创 DAMA CDGP：论述题真题解析之数据安全篇

真题一一、问题简述（考点：数据安全）企业应该具备什么样的数据安全能力哪些个人隐私数据需要脱最处理数据脱敏的常用方法二、问题解析信息安全、网络安全、数据安全、和系统安全等个人信息、敏感信息、法律规定的信息等主要考察九种脱敏方法三、Answer3.1 数据安全能力包括：信息安全，包括：脆弱性、威胁、风险、风险等级、数据安全组织、安全流程、数据完善性、加密、混淆／脱敏网络安全，包括：后门、机器人／僵尸、...

2024-08-23 22:59:47 1268

原创 DAMA CDGP 论述题真题解析一：数据安全篇

数据安全治理得需要有足够的资金支持，面向系统、企业内保持方案一致，建立安全战略等，主要包括：数据安全分析现状，数据安全活动、以及基于数据生命周期等数据安全管理三个维度。可通过混淆处理（变得模糊或不明确）或脱敏（删除、打乱或以其他方式更改数据的外观等）的方式来降低数据可用性，同时避免丢失数据的含义或数据与其他数据集的关系。在数据和信息安全实施过程中，首先要评估组织当前的数据状态，确定需要保护的数据范围。因此，不能公开提供服务。在数据和信息安全实施过程中，首先要评估组织当前的数据状态，确定需要保护的数据范围。

2024-08-22 20:58:13 316

原创数仓实践：有关数仓架构的一些设计

在早期数仓建设中，大多以批处理的方式为基线进行开发，随着业务的发展，需求对实效性和准确性要求越来越高，于是有了实时数据处理的流程，随之出现了 Lambda、Kappa 以及 Kappa+ 常见的数仓架构。

2024-08-18 15:56:34 261

原创数仓解惑：什么是主数据？

主数据（MasterData）：在企业中用来定义业务对象的、具有持续性、非交易类的数据。相对于交易类数据，主数据是相对稳定的数据。

2024-08-12 23:13:43 241

原创数仓解惑：一致性维度和一致性事实

在 Kimball 的维度建模的数据仓库中，关于多维体系结构（MD）有三个关键性概念：总线架构（Bus Architecture），一致性维度（Conformed Dimension），一致性事实（Conformed Fact）。多维体系结构(总线架构) 数据仓库领域里，有一种构建数据仓库的架构，叫 Multidimensional Architecture（MD），中文一般翻译为“多维体系结构”，也称为“总线架构”（Bus Architecture）。多维体系结构的创始人是数据仓库领域中最有实践经验的 K

2024-08-01 21:02:35 236

原创数仓实践：一文读懂数仓 ODS 层模型设计

具体使用的方式可用全外连接（full outer join） + 数据全量覆盖重新加载（insert overwrite）的方式，即如日调度，则将当天增量数据和前一天全量数据做全外连接，重新加载为最新的全量数据。具体使用的方式可用主键去重（row_number）+ 数据全量覆盖重新加载（insert overwrite）的方式，即如日调度，则将当天增量数据和前一天全量数据合并后根据主键去重，重新加载为最新的全量数据。其中：OLD 表存储最近 N 天之前的数据，这部分数据不再使用 delta 增量数据更新。

2024-07-28 14:13:29 1122

原创数仓实践：维度建模标准规范定义

比例型指标定义方式为：派生指标+rb（ration by）+占比组，用于例如：“卖家最近1天销售金额行业占比”，派生指标为卖家最近1天销售金额，占比组为行业，可定义为pay_amt_1d_rb_industry。其定义方式为：派生指标+排名范围（例如：行业、省份、一级类目等）+排名方式（例如：升序排名ark，降序排名drk）+topN+对象名+s（s代表指标为字符串）。例如，新发商品数，重发商品数，新增注册会员数，订单支付金额，这类指标需维护原子指标及业务限定，在此基础上根据指定的统计粒度创建派生指标。

2024-07-17 01:00:28 791

原创数仓实践：数据仓库建设公共规范指南

数据模型的事实表设计在维度模型事实表的基础上，结合数据使用场景的具体实践，进行一定扩展，采用宽表设计方法。比如会员表，建议拆分为核心表和扩展表。建立核心模型与扩展模型体系，核心模型包括的字段支持常用核心的业务，扩展模型包括的字段支持个性化或是少量应用的需要，必要时让核心模型与扩展模型做关联，不能让扩展字段过度侵入核心模型，破坏了核心模型的架构简洁性与可维护性。在指标定义中，采取组件化的形式，进行指标标准化定义，先规范定义，后生产，全生命周期控制，保障数据口径统一，减少重复建设，强调数据复用和共享。

2024-07-15 19:53:14 1593

转载深入解读：数据团队工作全貌

来源：网络整理|全文共4946个字，建议阅读13分钟今日分享从不同角度看数据团队的工作。作为一个『二进宫』的阿里人，这个月刚好是入职 Lazada 的两周年。虽然两次与阿里结缘都是在数据团队（DT），但这次从数据中台到业务前台，从个人贡献者到 TL，团队和身份的转变让我对个人的发展及未来要做的事情都有了更深入的了解和认识，这里也和大家分享一下在业务前台做数据工程的经验与思考。作为一名前端...

2024-07-15 09:09:48 171

原创数仓实践：浅谈数仓建模宽表设计

主要讲解了一下几个方面为什么要建设宽表宽表的不足如何设计宽表宽表到底多宽主次分离冷热分类稳定与不稳定分类设计宽表的理论其实说白了就是一句话：高内聚低耦合，我们要从在业务、ETL 刷新、指标属性、数据来源等角度，让高度内聚的属性、描述、度量放在一个表中。基本可以从两个维度矩阵进行切割：第一：按实体属性可能涉及的业务范围进行划分。当前用户的基本属性和维度，数据相对静态，修改较少。统计的集合包括所有实体对象。用户在统计日发生的行为度量指标。

2024-07-14 22:40:48 1221

转载数仓实践：详解大厂实时数仓建设方案

实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，无法支撑实时场景的数据需求。即使能将调度频率设置成小时，也只能解决部分时效性要求不高的场景，对于实效性要求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。2. 实时技术日...

2024-07-13 22:09:49 229

转载数仓解惑：DWD、DWS、ADS 哪一层建设是最难的？

在数据仓库建设中，dwd、dws、ads 三层架构是非常关键的部分。而其中，哪一层建设最难呢？相信这个问题困扰了不少数据工程师。在今天的推文中，我们将详细探讨这个问题，并解释为什么我们认为 dwd 层是最难建设的。Dwd层：数据仓库的基石首先，我们来看看 dwd 层。dwd，即数据仓库详细数据层，是整个数据仓库的基础。为什么说 dwd 层的建设最难呢？因为它不仅要保证数据的质量，还要考虑数据的使用...

2024-07-12 18:40:51 248

原创数仓实践：浅谈维度建模优劣分析

维度建模（dimensional modeling）是数据仓库建设中的一种数据建模方法，Kimball 最先提出这一概念。其最简单的描述就是，按照事实表、维度表来构建数据仓库、数据集市，这种方法最被人广泛知晓的名字就是星型模式（Star-Schema）。实体关系（E-R）建模：通常用于为单位的所有进程创建一个复杂的模型，这种方法已被证实在创建高效的联机事务处理 (OLTP)系统方面很有效；相反，维度建模针对零散的业务进程创建个别的模型。

2024-07-10 22:23:36 297

原创数仓实践：关于维度表的设计与实践

1、共享维度表。比如在阿里巴巴的数据仓库中，商品、卖家、买家、类目等维度有且只有一个。所以基于这些公共维度进行的交叉探查不会存在任何问题。2、一致性上卷，其中一个维度的维度属性是另一个维度的维度属性的子集，而两个维度的公共维度属性结构和内容相同。比如在阿里的商品体系中，有商品维度和类目维度，其中类目维度的维度属性是商品维度的维度属性的子集，且有相同的维度属性和维度属性值。这样基于类目维度进行不同业务过程的交叉探查也不会存在任何问题。3、交叉属性。两个维度具有部分相同的维度属性。

2024-07-10 11:50:26 854

原创数据仓库：关于事实表的设计与实践

事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述：一种是维度属性组合所表示的细节程度；一种是所表示的具体业务含义。英文名：我们预设定了业务过程名作为命名的一部分，因此候选部分用户以下划线连接的英文缩写进一步表达逻辑模型的业务含义。名称：建议以相对完整的中文短语描述名称，主要包括业务主体、业务过程，比如淘宝交易下单业务事实表。

2024-07-08 20:17:09 825

原创从数字化营销与运营视角：看流量效果的数据分析

基于数据打通的“全链路”营销是当下的“时髦”，应用它的前提是什么？深度营销和运营的关键数据如何获得？如何利用数据进行更精准的营销投放？如何利用数据优化投放的效果？如何促进消费者的转化，以及激活留存的客户，并不断提高他们的忠诚度？应该采用什么样的数据战略？宋星老师在《数据赋能：数字化营销与运营实战》中给出了以上问题的答案，最近正在读这本书，所以项采用框架拆解方式进行记录，一来通过梳理读书笔记倒逼自己...

2024-07-07 23:27:46 1339

原创《数据赋能：一本书讲透数字化营销与运营》—— 流量效果的数据分析

是需要数据科学家针对你的购物流程建立的自定义或算法模型，该模型能够最佳匹配用户转化的过程。该模型在建立、维护和使用上都最困难和最耗时的归因模型，但它能够最精确地评估各流量渠道对用户过程的影响效果。一般而言，在行业内除非强调是归因转化率，或者归因收入、归因ROAS等，否则都默认是末次交互转化率。原则一：细分。打开 Display 黑箱查看其内部的诸多广告就是细分。原则二：从大处着手。在细分后，查看流量多的流量渠道，因为这些流量渠道的花费大。当然。如果可能，那么你可以径直查看花费大的流量渠道表现。

2024-07-07 23:21:37 1006

原创《数据赋能：一本书讲透数字化营销与运营》—— 从正确的数据观开始

宋星老师在《》中给出了以上问题的答案，最近正在读这本书，所以项采用框架拆解方式进行记录，一来通过梳理读书笔记倒逼自己提升对数字化营销的认知，二来分享给需要的小伙伴们，供相互学习交流使用。本书围绕数据为企业数字化营销和业务增长赋能的两大主线——数据驱动和数据分析展开介绍，同时辅以近几年在中国企业界实际应用的真实案例进行生动讲解。主要涉及的内容有：数据的来源、获取与接入，，数据驱动的品牌、效果广告投放，，利用数据进行流量的宏观和微观转化，。

2024-06-26 20:46:35 734

原创 DAMA 数据管理知识体系指南：第十章参考数据与主数据

关键步骤——1 数据模型管理：对于主数据来说，在企业级使用的术语和定义应该与整个组织所进行的业务相关联，而不必依赖于源系统贡献的数据值。主数据是“以与业务活动相关的通用和抽象概念形式提供业务活动语境的数据，包括业务交易中涉及的内部和外部对象的详细信息（定义和标识符），如客户、产品、雇员、供应商和受控域（代码值）”。第十章在CDGA分值占比不高，CDGP分值占比较高，主要考点包括：定义、目标、原则、参考数据及主数据管理好处、异同点、哪些属于主数据、活动、工具、度量指标等基本概念。提出主数据的最佳版本。

2024-06-17 19:45:25 1909

阿里云云计算ACP.xmind

阿里云大数据ACP.xmind

空空如也