数据中台
主要介绍业内数据中台的发展
micklongen
micklongen
展开
-
E. 数据仓库 --- 数据管理能力成熟度评估模型
E. 数据仓库 — 数据管理能力成熟度评估模型数据战略数据战略规划数据战略实施数据战略评估数据治理数据治理组织数据制度建设数据治理沟通数据架构数据模型数据分布数据集成和共享元数据管理数据应用数据分析数据开放分享数据服务数据安全数据安全策略数据安全管理数据安全审计数据质量数据质量需求数据质量检查数据质量分析数据质量提升数据标准业务术语参考数据和主数据数据元指标数据数据生存周期数据需求数据设计和开发数据运维数据原创 2021-11-05 20:45:02 · 360 阅读 · 0 评论 -
B. 数据仓库 --- 建模技术 --- 维度设计
数据仓库 — 建模技术 — 维度设计处理缓慢变化维度属性类型0:原样保留类型1:重写:由于体现的是最新的值,历史值被修改,因此很容易产生原有的关系表混乱类型2:增加新行(需要增加几列方便管理的列)需要增加关键字行有效期和行失效期类型3:增加新属性:增加新的列表示新值,但是对于博客预测的值,比如说客户的家庭地址,最好采用类型2如果变化节奏可预测,则采用多类型3属性例如:2012年部...原创 2020-04-06 12:29:12 · 165 阅读 · 0 评论 -
B. 数据仓库 --- 建模技术 --- 事实表
B. 数据仓库 — 建模技术 — 事实表相关技术事实表代理键作为事实表的唯一主键列在ETL中,用作事实表行的直接标识符,不必查询多个维度允许将事实表更新操作分解为风险更小的插入和删除操作蜈蚣事实表属性或事实的数字值:设计者有时会遇到一些数字值,难以确定将这些数字值分类到维度表或是事实表的情况。典型的实例是产品的标准价格。如果该数字值主要用于计算目的,则可能属于事实表。如果该数...原创 2020-04-06 12:37:52 · 440 阅读 · 0 评论 -
B. 数据仓库 --- 建模技术 --- 事实表 --- 针对事实表的时间跟踪
B. 数据仓库 — 建模技术 — 事实表 — 针对事实表的时间跟踪概述 存在三种基本事实表粒度:事务级别、周期快照和累积快照。个别情况下,在事实表中增加行有效时期、行截止日期和当前行标识是非常有用的,与采用类型2缓慢变化维度,在事实行有效时获取时间的方式类似。尽管不太常用,但该模型能够解决诸如缓慢变化库存平衡的场景,其中频繁周期快照可以在每个快照上加载同一行。事务事实表步骤 — 交易事...原创 2020-04-06 12:43:51 · 295 阅读 · 0 评论 -
C. 数据仓库 --- Kimball架构
C. 数据仓库 — Kimball架构Kimball关键性概念总线架构:多维体系结构主要包括后台(Back Room)和前台(Front Room)两部分。后台也称为数据准备区(Staging Area),是MD架构的最为核心的部件。在后台,是一致性维度的产生、保存和分发的场所。同时,代理键也在后台产生。前台是MD架构对外的接口,包括两种主要的数据集市,一种是原子数据集市,另一种是聚集...原创 2020-04-06 13:08:05 · 636 阅读 · 0 评论 -
C. 数据仓库 --- 生命周期
C. 数据仓库 — 生命周期概述第一步:程序/项目规划第二步实施(程序/项目管理):业务需求定义技术结构设计产品选择安装维度建模物理设计:ETL设计与开发BI应用设计:BI应用开发第三步部署(程序/项目管理)第四步发展 — 重新规划程序/项目维护程序/项目规划与管理评估准备一个强有力的执行业务主管理想情况下,业务主管具有成功完成其他内部...原创 2020-04-06 13:35:42 · 1051 阅读 · 0 评论 -
C. 数据仓库 --- ETL
C. 数据仓库 — ETL需求综合业务需求:在项目将要支持的业务需求定义期间,必须维护一个揭示关键性能指标的列表,以及业务用户需要研究某个KPI"为什么"发生变化时,所需要的下钻和跨钻目标合规性:需要列出所有的数据以及最终报表主体要遵守的法律限制。数据质量:将已经知道不中意的数据记录下来,描述是否与源系统达成共识以便在获取数据之前进行更正。安全性:应当将合规性列表扩展,使其包含熟知的安...原创 2020-04-06 13:44:09 · 247 阅读 · 0 评论 -
B. 数据仓库 --- 建模技术 --- 建模步骤
B. 数据仓库 — 建模技术 — 建模步骤单场景维度设计步骤选择业务过程业务过程:组织完成的操作型活动业务过程通常用行为动词标示由某个操作型系统支撑,如订单和购买系统业务过程建立获取关键性能度量业务过程通常由输入激活、产生输出度量应该将注意力放在业务过程,而不是放在功能化的部门,可以更方便的获取一致的企业信息声明事实粒度在所有维度设计中强制实行一致性是保证BI应用性能和易用...原创 2020-04-06 12:25:12 · 209 阅读 · 0 评论 -
B. 数据仓库 --- 建模技术 --- 基本概念
B. 数据仓库 — 建模技术 — 基本概念基本概念 收集业务需求与数据实现 协作维度建模研讨:需要业务经验丰富的领域专家参与 维度设计 基于关系型数据的星型模式与OLAP多维数据库事实表事实表结构一行对应一个度量事件外键,用于关联与之相关的维度,也包含可选的退化维度和日期/时间戳操作特性可加性度量:按照与事实表关联的任意维度汇总半可加性度量:对某些维度汇总,但不...原创 2020-04-06 12:17:39 · 211 阅读 · 0 评论 -
A. 数据仓库 --- 概述
A. 数据仓库 — 概述概述 信息 操作型系统:以事务为主。以可预测的方式完成同样的操作型任务。 分析型系统:以评估效果为主。 数仓的需求 DW/BI系统要能方便地存取信息 DW/BI系统必须以一致的形式展现信息 DW/BI系统必须能够适应变化 DW/BI系统必须能够及时展现信息 DW/BI系统必须成为保护信息财富的安全壁垒 DW/BI系统必须成为提高决策制定...原创 2020-04-06 12:03:04 · 4775 阅读 · 0 评论 -
大数据平台 - 其他
大数据平台 - 其他数据可视化平台可视化平台产品定位和需求分析大的产品功能维度以页面维度为单位进行自定义配置开发,在页面中可以自由添加多个图表展示控件。支持自定义图表页面布局的能力,包括但不限于 Frame 和 Column 等基础布局组件。支持常用的图表和文本组件,支持过滤器等组件,提供参数化配置组件的能力 。标准化数据源接口,可动态拓展新的数据源。提供基础的数据分析和格式化配置能力,支持同比、环比、聚合运算、阙值基线、维度层级定义等功能。查看数据的终端用户,能够自定义数据视图,可以原创 2020-05-21 23:35:14 · 344 阅读 · 0 评论 -
大数据平台 - 整体建设思想
大数据平台 - 整体建设思想大数据平台整体建设思想目标为使用平台的用户解决了哪些问题,扫除了哪些障碍,提升了多少工作效率,附加了哪些增值收益内部组件的横向联通能力业务流程上纵向贯穿打通上下游链路的能力建设指导方针组件工具化工具平台化平台服务化:平台提供的内容是不是用户最终想要的东西?重点是用户体验是否够好,用户满意才是衡量服务水平的唯一标准平台产品化:需要根据公司的业务发展阶段,对现实中的各种问题进行评估、妥协和取舍。建设思路垂直业务领域一站到底的建设方式优点原创 2020-05-21 23:30:22 · 598 阅读 · 0 评论 -
B. 阿里巴巴 数据中台 --- 总结
B. 阿里巴巴 数据中台 — 总结最近发展数据技术领域数据模型领域:核心职责依然是负责数据模型的建设和管理。在阿里巴巴数据公共层建设时期,该领域关注全局数据模型的设计和数据模型师的培养,而此时更关注的是,如何将数据模型师的经验转换成专家系统,解决业务的逻辑建模、物理建模,以及两者的转换和管理智能黑盒领域:与数据模型领域的“将数据模型师的经验转换为专家系统”相呼应,智能黑盒领域致力于数据...原创 2020-04-06 14:32:25 · 325 阅读 · 0 评论 -
B. 阿里巴巴 数据中台 --- OneEntity体系方法论 与 OneService体系方法论
B. 阿里巴巴 数据中台 — OneEntity体系方法论 与 OneService体系方法论OneEntity体系方法论OneEntity统一实体分类一般质量OneEntity:不能贴上“特定标签”的OneEntity高质量OneEntity:能够贴上“特定标签”,这里的“特定标签”会因业务和场景而异。高价值OneEntity:不仅要能用标签等来精准刻画,还要达到实际意义上的可...原创 2020-04-06 14:29:55 · 5289 阅读 · 0 评论 -
B. 阿里巴巴 数据中台 --- OneData体系方法论
B. 阿里巴巴 数据中台 — OneData体系方法论第一个关键点:数据仓库规划和数据规范定义基于业务但超越和脱离业务需求限制的抽象:例子业务:电商数据域:交易业务过程:加入购物车业务过程:下单业务过程:支付业务过程:确认收货业务过程:申请退款维度:订单维度:买家维度:卖家数据域:会员维度:会员数据域:商品维度:商品数据域:浏览数据域:搜...原创 2020-04-06 14:26:39 · 2895 阅读 · 0 评论 -
A. 阿里巴巴 数据中台 --- 概述
A. 阿里巴巴 数据中台 — 概述概述云上数据中台业务模式 — 6大独特价值业务体感OneTeam协同作战特色大数据人云上数据中台大数据技术云上数据中台建设方法论云上数据中台产品化服务底层基础设施业务前台 — 业务数据化 VS 数据业务化云上数据中台 — 智能数据能力既"准"且"快"的"全"“统”"通"的智能大数据体系阿里云上数据中台内核能力框架体系 — 内核...原创 2020-04-06 14:22:46 · 583 阅读 · 0 评论 -
A. 阿里巴巴 数据中台 --- 建设之路
A. 阿里巴巴 数据中台 — 建设之路现状不同的业务有不同的ETL团队,有不同的数据体系业务上的困扰数据标准定义:字段命名规范、口径不统一、算法不一致开发:面向各业务线的“烟囱式”数据开发,在浪费技术资源的同时造成了数据重复且不可信维护:上线容易下线难,源业务系统或业务自身变更不能及时反映到数据上数据服务规划:缺乏全局规划,业务方获取数据的途径繁杂,服务化不足开发...原创 2020-04-06 14:14:06 · 416 阅读 · 0 评论