- 博客(615)
- 资源 (2)
- 收藏
- 关注
原创 DAMA CDGP:论述题真题解析之数据安全篇
真题一一、问题简述(考点:数据安全)企业应该具备什么样的数据安全能力哪些个人隐私数据需要脱最处理数据脱敏的常用方法二、问题解析信息安全、网络安全、数据安全、和系统安全等个人信息、敏感信息、法律规定的信息等主要考察九种脱敏方法三、Answer3.1 数据安全能力包括:信息安全,包括:脆弱性、威胁、风险、风险等级、数据安全组织、安全流程、数据完善性、加密、混淆/脱敏网络安全,包括:后门、机器人/僵尸、...
2024-08-23 22:59:47
578
原创 DAMA CDGP 论述题真题解析一:数据安全篇
数据安全治理得需要有足够的资金支持,面向系统、企业内保持方案一致,建立安全战略等,主要包括:数据安全分析现状,数据安全活动、以及基于数据生命周期等数据安全管理三个维度。可通过混淆处理(变得模糊或不明确)或脱敏(删除、打乱或以其他方式更改数据的外观等)的方式来降低数据可用性,同时避免丢失数据的含义或数据与其他数据集的关系。在数据和信息安全实施过程中,首先要评估组织当前的数据状态,确定需要保护的数据范围。因此,不能公开提供服务。在数据和信息安全实施过程中,首先要评估组织当前的数据状态,确定需要保护的数据范围。
2024-08-22 20:58:13
39
原创 数仓实践:有关数仓架构的一些设计
在早期数仓建设中,大多以批处理的方式为基线进行开发,随着业务的发展,需求对实效性和准确性要求越来越高,于是有了实时数据处理的流程,随之出现了 Lambda、Kappa 以及 Kappa+ 常见的数仓架构。
2024-08-18 15:56:34
142
原创 数仓解惑:什么是主数据?
主数据 (MasterData):在企业中用来定义业务对象的、具有持续性、非交易类的数据。相对于交易类数据,主数据是相对稳定的数据。
2024-08-12 23:13:43
27
原创 数仓解惑:一致性维度和一致性事实
在 Kimball 的维度建模的数据仓库中,关于多维体系结构(MD)有三个关键性概念:总线架构(Bus Architecture),一致性维度(Conformed Dimension),一致性事实(Conformed Fact)。多维体系结构(总线架构) 数据仓库领域里,有一种构建数据仓库的架构,叫 Multidimensional Architecture(MD),中文一般翻译为“多维体系结构”,也称为“总线架构”(Bus Architecture)。多维体系结构的创始人是数据仓库领域中最有实践经验的 K
2024-08-01 21:02:35
54
原创 数仓实践:一文读懂数仓 ODS 层模型设计
具体使用的方式可用全外连接(full outer join) + 数据全量覆盖重新加载(insert overwrite)的方式,即如日调度,则将当天增量数据和前一天全量数据做全外连接,重新加载为最新的全量数据。具体使用的方式可用主键去重(row_number)+ 数据全量覆盖重新加载(insert overwrite)的方式,即如日调度,则将当天增量数据和前一天全量数据合并后根据主键去重,重新加载为最新的全量数据。其中:OLD 表存储最近 N 天之前的数据,这部分数据不再使用 delta 增量数据更新。
2024-07-28 14:13:29
818
原创 数仓实践:维度建模标准规范定义
比例型指标定义方式为:派生指标+rb(ration by)+占比组,用于例如:“卖家最近1天销售金额行业占比”,派生指标为卖家最近1天销售金额,占比组为行业,可定义为pay_amt_1d_rb_industry。其定义方式为:派生指标+排名范围(例如:行业、省份、一级类目等)+排名方式(例如:升序排名ark,降序排名drk)+topN+对象名+s(s代表指标为字符串)。例如,新发商品数,重发商品数,新增注册会员数,订单支付金额,这类指标需维护原子指标及业务限定,在此基础上根据指定的统计粒度创建派生指标。
2024-07-17 01:00:28
698
原创 数仓实践:数据仓库建设公共规范指南
数据模型的事实表设计在维度模型事实表的基础上,结合数据使用场景的具体实践,进行一定扩展,采用宽表设计方法。比如会员表,建议拆分为核心表和扩展表。建立核心模型与扩展模型体系,核心模型包括的字段支持常用核心的业务,扩展模型包括的字段支持个性化或是少量应用的需要,必要时让核心模型与扩展模型做关联,不能让扩展字段过度侵入核心模型,破坏了核心模型的架构简洁性与可维护性。在指标定义中,采取组件化的形式,进行指标标准化定义,先规范定义,后生产,全生命周期控制,保障数据口径统一,减少重复建设,强调数据复用和共享。
2024-07-15 19:53:14
1465
转载 深入解读:数据团队工作全貌
来源:网络整理|全文共4946个字,建议阅读13分钟今日分享从不同角度看数据团队的工作。作为一个『二进宫』的阿里人,这个月刚好是入职 Lazada 的两周年。虽然两次与阿里结缘都是在数据团队(DT),但这次从数据中台到业务前台,从个人贡献者到 TL,团队和身份的转变让我对个人的发展及未来要做的事情都有了更深入的了解和认识,这里也和大家分享一下在业务前台做数据工程的经验与思考。作为一名前端...
2024-07-15 09:09:48
58
原创 数仓实践:浅谈数仓建模宽表设计
主要讲解了一下几个方面为什么要建设宽表宽表的不足如何设计宽表宽表到底多宽主次分离冷热分类稳定与不稳定分类设计宽表的理论其实说白了就是一句话:高内聚低耦合,我们要从在业务、ETL 刷新、指标属性、数据来源等角度,让高度内聚的属性、描述、度量放在一个表中。基本可以从两个维度矩阵进行切割:第一:按实体属性可能涉及的业务范围进行划分。当前用户的基本属性和维度,数据相对静态,修改较少。统计的集合包括所有实体对象。用户在统计日发生的行为度量指标。
2024-07-14 22:40:48
853
转载 数仓实践:详解大厂实时数仓建设方案
实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1,调度频率以天为单位,无法支撑实时场景的数据需求。即使能将调度频率设置成小时,也只能解决部分时效性要求不高的场景,对于实效性要求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。2. 实时技术日...
2024-07-13 22:09:49
54
转载 数仓解惑:DWD、DWS、ADS 哪一层建设是最难的?
在数据仓库建设中,dwd、dws、ads 三层架构是非常关键的部分。而其中,哪一层建设最难呢?相信这个问题困扰了不少数据工程师。在今天的推文中,我们将详细探讨这个问题,并解释为什么我们认为 dwd 层是最难建设的。Dwd层:数据仓库的基石首先,我们来看看 dwd 层。dwd,即数据仓库详细数据层,是整个数据仓库的基础。为什么说 dwd 层的建设最难呢?因为它不仅要保证数据的质量,还要考虑数据的使用...
2024-07-12 18:40:51
56
原创 数仓实践:浅谈维度建模优劣分析
维度建模(dimensional modeling)是数据仓库建设中的一种数据建模方法,Kimball 最先提出这一概念。其最简单的描述就是,按照事实表、维度表来构建数据仓库、数据集市,这种方法最被人广泛知晓的名字就是星型模式(Star-Schema)。实体关系(E-R)建模:通常用于为单位的所有进程创建一个复杂的模型,这种方法已被证实在创建高效的联机事务处理 (OLTP)系统 方面很有效;相反,维度建模针对零散的业务进程创建个别的模型。
2024-07-10 22:23:36
223
原创 数仓实践:关于维度表的设计与实践
1、共享维度表。比如在阿里巴巴的数据仓库中,商品、卖家、买家、类目等维度有且只有一个。所以基于这些公共维度进行的交叉探查不会存在任何问题。2、一致性上卷,其中一个维度的维度属性是另一个维度的维度属性的子集,而两个维度的公共维度属性结构和内容相同。比如在阿里的商品体系中,有商品维度和类目维度,其中类目维度的维度属性是商品维度的维度属性的子集,且有相同的维度属性和维度属性值。这样基于类目维度进行不同业务过程的交叉探查也不会存在任何问题。3、交叉属性。两个维度具有部分相同的维度属性。
2024-07-10 11:50:26
705
原创 数据仓库:关于事实表的设计与实践
事实表 作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述:一种是维度属性组合所表示的细节程度;一种是所表示的具体业务含义。英文名:我们预设定了业务过程名作为命名的一部分,因此候选部分用户以下划线连接的英文缩写进一步表达逻辑模型的业务含义。名称:建议以相对完整的中文短语描述名称,主要包括业务主体、业务过程,比如淘宝交易下单业务事实表。
2024-07-08 20:17:09
763
原创 从数字化营销与运营视角:看流量效果的数据分析
基于数据打通的“全链路”营销是当下的“时髦”,应用它的前提是什么?深度营销和运营的关键数据如何获得?如何利用数据进行更精准的营销投放?如何利用数据优化投放的效果?如何促进消费者的转化,以及激活留存的客户,并不断提高他们的忠诚度?应该采用什么样的数据战略?宋星老师在《数据赋能:数字化营销与运营实战》中给出了以上问题的答案,最近正在读这本书,所以项采用框架拆解方式进行记录,一来通过梳理读书笔记倒逼自己...
2024-07-07 23:27:46
1114
原创 《数据赋能:一本书讲透数字化营销与运营》—— 流量效果的数据分析
是需要数据科学家针对你的购物流程建立的自定义或算法模型,该模型能够最佳匹配用户转化的过程。该模型在建立、维护和使用上都最困难和最耗时的归因模型,但它能够最精确地评估各流量渠道对用户过程的影响效果。一般而言,在行业内除非强调是归因转化率,或者归因收入、归因ROAS等,否则都默认是末次交互转化率。原则一:细分。打开 Display 黑箱查看其内部的诸多广告就是细分。原则二:从大处着手。在细分后,查看流量多的流量渠道,因为这些流量渠道的花费大。当然。如果可能,那么你可以径直查看花费大的流量渠道表现。
2024-07-07 23:21:37
735
原创 《数据赋能:一本书讲透数字化营销与运营》—— 从正确的数据观开始
宋星老师在《》中给出了以上问题的答案,最近正在读这本书,所以项采用框架拆解方式进行记录,一来通过梳理读书笔记倒逼自己提升对数字化营销的认知,二来分享给需要的小伙伴们,供相互学习交流使用。本书围绕数据为企业数字化营销和业务增长赋能的两大主线——数据驱动和数据分析展开介绍,同时辅以近几年在中国企业界实际应用的真实案例进行生动讲解。主要涉及的内容有:数据的来源、获取与接入,,数据驱动的品牌、效果广告投放,,利用数据进行流量的宏观和微观转化,。
2024-06-26 20:46:35
544
原创 DAMA 数据管理知识体系指南:第十章 参考数据与主数据
关键步骤——1 数据模型管理:对于主数据来说,在企业级使用的术语和定义应该与整个组织 所进行的业务相关联,而不必依赖于源系统贡献的数据值。主数据是“以与业务活动相关的 通用和抽象概念形式 提供业务活动语境的数据,包括业务交易中涉及的内部和外部对象的详细信息(定义和标识符),如客户、产品、雇员、供应商和受控域(代码值)”。第十章在CDGA分值占比不高,CDGP分值占比较高,主要考点包括:定义、目标、原则、参考数据及主数据管理好处、异同点、哪些属于主数据、活动、工具、度量指标等基本概念。提出主数据的最佳版本。
2024-06-17 19:45:25
1609
原创 DAMA 数据管理知识体系指南:第七章 数据安全
5)已完成正式风险评估分析的业务单位的百分比。第七章在 CDGA|CDGP 考试中的分值占比较高,主要考核知识概念的熟练程度,主要考点包括:数据安全定义、目标与原则、驱动因素、安全过程 4A+E、安全手段(加密类型、脱敏类型与方法等)、PIC 数据类型、安全法律法规、活动、度量指标等。4A:访问(Access)、审计(Audit)、验证(Authentication)、授权(Authorization)。4)数据与特定业务流程的风险映射,与销售点设备相关的风险将包含在金融支付系统的风险预测中。
2024-06-16 00:21:33
769
原创 DAMA 数据管理知识体系指南:第五章 数据模型与设计
关系捕获概念实体之间的高级别交互、逻辑实体之间的详细交互、物理实体之间的约束。第五章是 CDGA|CDGP 考试的重点考核章节之一,分值占比高,知识点比较密集,重点考查知识点包括:数据建模的定义、6 种数据模型及建模方法、业务驱动因素、数据模型目标与原则、数据模型组件、建模的数据类型、数据模型级别、数据建模和设计活动等。实体中属性的物理展现为表、视图、文档、图形或文件中的列、字段、标记或节点等。概念数据模型仅包括给定的领域和职能中基础和关键的业务实体,同时也给出实体和实体之间关系的描述。
2024-05-29 23:30:25
998
原创 DAMA 数据管理知识体系指南:第三章 数据治理
由【数据管理专业人员】、【业务策略人员】,在【数据治理组织】的支持下共同起草数据治理的目标、原则和制度,然后由【数据管理专员】和【管理人员】审查并完善,最后由【数据管理委员会】终审、修订和发布。:需要组织文化的转变和持续的变革管理,文化包括组织思维和数据行为, 变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。以下为基于 DAMA-DMBOK2 梳理的核心常考知识点:驱动因素、目标和原则、组织和管理职责、数据治理活动、实施指南、组织和文化等。:理解和计算数据对组织的经济价值的过程。
2024-05-27 21:21:32
819
原创 DAMA 数据管理知识体系指南:第一章 数据管理
第一章在 CDGA|CDGP 考试中分值占比均不是很高,主要侧重点是考概念性的知识,理解数据管理的目标原则、还有与其他概念的区别点,同时掌握几个关键核心的图(车轮图、六边形图、语境关系图)。数据管理(Data Management):为了 交付、控制、保护 并 提升 数据和信息资产的 价值,在其整个生命周期中制订 计划、制度、规程和实践 活动,并 执行 和 监督 的过程。1 数据管理章程:总体愿景、业务案例、目标、指导原则、成功衡量标准、关键成功因素、可识别的风险、运营模式等。【满足自己和利益方的需求。
2024-05-23 23:24:07
929
原创 DAMA:数据治理 CDGA/CDGP 认证考试备考经验分享
主要方式就是看书,包括《DAMA-DMBOK2 数据管理知识体系指南》和《穿越数据的迷宫:数据管理执行指南》,这两本书在网络都有售卖。通读教材,了解基本内容和不同知识领域自己的掌握情况,做到心中有数精读教材,结合笔记、思维导图系统梳理知识点,这一遍时间最长结合了数贝(厦门数贝信息科技有限公司提供的“databok数据课”,可以在微信中搜索到小程序“数贝”)提供的练习题进行模拟训练,对训练过程中出错的题目反向查找知识点进行强化学习,加深理解查漏补缺,快速过一遍教材。
2024-05-18 16:25:51
2175
1
原创 DAMA:CDGP 考试重点及知识点分解
5、数据架构实施,评估和风险、组织和文化。1、数据治理业务驱动因素、目标和原则。1、数据质量业务驱动因素、目标和原则。1、数据架构的业务驱动、成果和实施。1、主数据业务驱动因素、目标和原则。1、元数据管理业务驱动,目标和原则。4、数据治理实施指南、组织和文化。1、业务驱动因素、目标和原则。2、数据治理组织和管理职责。1、数据安全业务驱动因素、单选(3)、 多选(1)单选(2)、 多选(4)单选(2)、 多选(4)6、参考数据和主数据治理。2、数据架构的基本概念。4、数据架构管理工具。6、数据架构评估指标。
2024-05-17 14:38:21
1034
转载 数仓实践:构建数仓高质量建设指标体系
大家好,我是云祁。一个企业的数据仓库或者数据中台建设,往往都需要经历前期混沌摸索的阶段,踩过无数的坑之后,才会逐渐建设完善,形成适合自己的一套数仓体系和建设规范。今天就和大家分享一篇构建高质量数仓的踩坑好文章~一、 大数据仓库较差的建设先来回忆一下数仓建设经常遇到的一些坑或现象。二、构建数仓建设质量指标体系还在为如何评估数仓建设质量而犯愁么?本文在常规的分层建设、划分主题外将带大家一起探索出了一条...
2023-07-11 21:03:01
820
2
原创 数仓实践:企业级 CDP 数据工程实践经验
大家好,许久未见,我是云祁~今天想和大家分享下企业级CDP项目建设中的数据工程实践。在很多情况下,大家可能会将数据工程与ETL的过程画上等号,但实际上ETL只是数据工程的一部分,其工作量通常仅占整个数据项目的30%左右。而一个数据工程项目,本质上是要解决三大问题:客户有什么?客户想要什么?怎样设计最合理?因此,在数据工程项目中,数据现状梳理、业务理解和数据模型设计等工作量通常占据了项...
2023-07-06 21:08:44
1141
1
原创 企业级CDP数据工程实践(一):建设中的最佳实践
大家好,许久未见,我是云祁~今天想和大家分享下企业级CDP项目建设中的数据工程实践。在很多情况下,大家可能会将数据工程与ETL的过程画上等号,但实际上ETL只是数据工程的一部分,其工作量通常仅占整个数据项目的30%左右。而一个数据工程项目,本质上是要解决三大问题:客户有什么?客户想要什么?怎样设计最合理?因此,在数据工程项目中,数据现状梳理、业务理解和数据模型设计等工作量通常占据了项...
2023-07-06 21:08:44
234
转载 自我探索:2022年,拼命找到自己的使命
—1—使命(personal mission)是什么?到底、到底、到底什么是使命(mission)?有人说,使命就是“做什么”。愿景是“做成什么样”。这没错,但是这样的表述,会让人觉得使命和目标,工作范围,是差不多的意思,并没有真地讲清楚使命的“灵魂”。使命的灵魂是什么?我们常听说,“天将降大任于斯人也,必先苦其心志,劳其筋骨,饿其体肤,空乏其身,行拂乱其所为。”哇,...
2022-05-23 10:00:49
772
4
原创 数仓实践:浅谈 Kimball 维度建模
我们不管是基于 Hadoop 的数据仓库(如 Hive ),还是基于传统 MPP 架构的数据仓库(如 Teradata ),抑或是基于传统 Oracle 、MySQL 、SQL Server 关系型数据库的数据仓库,其实都面临如下问题:怎么组织数据仓库中的数据?怎么组织才能使得数据的使用最为方便和便捷?怎么组织才能使得数据仓库具有良好的可扩展性和可维护性?Kimball ...
2022-05-21 10:51:08
1585
1
转载 数据思考:数据驱动业务的四个层次
在实际工作中,不能驱动业务的数据分析是无效的。我们需要从数据出发,发现业务中不能直接发现的问题,辅助业务决策或者给出建议,这些建议和洞察能够切实推动业务的工作。这被称为数据驱动业务能力,是企业数据分析人员的关键能力。数据驱动业务可分为4个层级,辅助→协同→主导→洞察,从浅入深:level1 辅助数据辅助业务,支撑业务解决问题熟悉业务流程,掌握数据分析技能,能将数据和业务结...
2022-05-15 12:54:43
1682
原创 数仓实践:总线矩阵设计
如何设计一套切实可行的数据仓库呢?我们要明白,对于数据仓库的设计是不能完全依赖于业务的需求,但往往又必须要服务于业务的价值。因此,在构建数据仓库前,我们往往会通过总线矩阵设计,来快速理解业务并规划数据仓库体系。以求从宏观的角度来描述企业的业务和数据现状,并指导后续的数据仓库建模。不妨先来看看,祖师爷 Kimball 在书中对总线矩阵的定义:总线矩阵:提供一种分解企业DW/...
2022-05-10 21:30:26
3077
原创 数仓建设:数据域和主题域是什么关系?
为什么会有域的概念呢?首先来看看数据仓库的定义吧,数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。主题域已经体现出来了主题域用于将数据集市按照分析视角进行划分,通常是联系较为紧密的数据主题的集合。可以根据业务的关注点,将这些数据主题划分至不同的主题域。当然,还有另外一种说法。数据仓库是面向主题(数据综合、归类并进行分析利用的抽象)的...
2022-04-24 22:52:59
6551
转载 浅谈网易严选用户行为分析
在一二级市场萎靡的大环境下,新消费品的商业模式需要从早期的 流量-转化-留存 中解放出来,转而更专注于服务体验产品价值。商品品质和服务体验做得好,才能带来长期价值,要优于通过烧钱拉新的方式扩大短期规模。本文中数据均为脱敏/虚构数据。1商业模式在做用户分析前,通常需要对商业模式做一个基本的了解,我们先来看经典的5W1H问题。对于网易严选:Who:用户是谁?- 精品电商的用户...
2022-04-12 09:34:00
500
转载 基于阿里(OneData)的数仓体系建设
点击上方"蓝字"关注,“星标”一起成长本文目录:一、指导思想二、数据调研三、架构设计四、指标体系搭建五、模型设计六、维度设计七、事实表设计八、其他规范OneData 是阿里巴巴内部进行数据整合和管理方法体系和工具,其方法论对数仓建模依然有借鉴之处,一起来温故下来自《大数据之路:阿里巴巴大数据实践》的经验之谈吧。一、指导思想首先,要进行充分的业务调研和需求分析。其次,进...
2022-04-11 09:30:00
997
转载 数据架构建设方法及案例
数据架构的本质是数据模型和数据流(或叫数据分布),《华为数据之道》将数据架构分为数据资产目录、数据标准、数据模型及数据分布,DAMA将数据架构分为数据模型和数据流设计,差不多就是这个意思。但数据架构到底如何构建?有没有现成的案例可以参考呢?今天就结合企业管理信息域MSS具体案例跟大家讲一讲数据架构建的建设方法论,主要分为五个步骤:架构现状分析、数据实体梳理、数据主题域划分...
2022-04-08 09:30:00
3680
转载 来看看 ETL 和数仓建模的设计思路!
点击上方"蓝字"关注,“星标”一起成长什么是ETL?ETL是数据抽取(Extract)、转换(Transform)、加载(Load )的简写,它是将OLTP系统中的数据经过抽取,并将不同数据源的数据进行转换、整合,得出一致性的数据,然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程数据仓库的架构数据仓库(Data Warehouse \ D...
2022-04-07 09:30:00
710
转载 关于数仓建设及数据治理的超全概括
进入主页,点击右上角“设为星标”比别人更快接收好文章本文分为两大节介绍,第一节是数仓建设,第二节是数据治理,内容较长,还请耐心阅读!在谈数仓之前,先来看下面几个问题:数仓为什么要分层?用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大。通过数据分...
2022-04-05 09:30:00
794
转载 用户运营指标体系建设实践 by 千冰仪
一、用户运营做什么?企业的生存和发展的根本是用户,用户的规模和增速可以决定一个公司的生死存亡。所以,各行各业,不管在做什么业务,都绕不开对用户的运营。今天主要讲讲,对于电商行业,用户运营主要做什么,如何构建数据化驱动的用户运营指标体系。数据指标体系的规划设计之前,必须要先搞清楚业务过程,“业务数据化,数据业务化”,强调的是数据和业务紧密的关系。对于用户运营来说,主要在做什...
2022-04-02 09:30:00
610
转载 淘宝APP用户行为数据分析 by 一只废鹅
大家好,我是云祁!今天和大家分享一篇淘宝用户行为数据分析的文章,干货内容值得收藏。一. 提出问题和应用模型1.本次分析的目的是想通过对淘宝用户行为进行数据分析,为以下问题提供解释和改进建议:(1)分析用户使用APP过程中的常见电商分析指标,确定各个环节的流失率。(2)利用假设检验思想分析流失原因,找到需要改进的环节。(3)研究用户在不同时间尺度下的行为规律,分析不同尺度下...
2022-03-31 09:30:00
2613
1
阿里云云计算ACP.xmind
2020-05-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人