- 博客(21)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 HAWQ取代传统数仓实践（十四）——事实表技术之累积快照
https://blog.csdn.net/wzy0623/article/details/72867167一、累积快照简介 累积快照事实表用于定义业务过程开始、结束以及期间的可区分的里程碑事件。通常在此类事实表中针对过程中的关键步骤都包含日期外键，并包含每个步骤的度量，这些度量的产生一般都会滞后于数据行的创建时间。累积快照事实表中的一行，对应某一具体业务的多个状态。例如...
2019-07-30 16:34:04
187
转载 HAWQ取代传统数仓实践（十三）——事实表技术之周期快照
https://blog.csdn.net/wzy0623/article/details/72844714一、周期快照简介 周期快照事实表中的每行汇总了发生在某一标准周期，如一天、一周或一月的多个度量。其粒度是周期性的时间段，而不是单个事务。周期快照事实表通常包含许多数据的总计，因为任何与事实表时间范围一致的记录都会被包含在内。在这些事实表中，外键的密度是均匀的，因为即...
2019-07-30 16:32:29
183
转载 数据治理
数据治理(DataGovernance)，是企业数据治理部门发起并推行的，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理是一套持续改善管理机制，通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核等内容。“数据治理是目前一个比较新兴的、正在发展的学科，目前业界对它的定义还不完全一样。”数...
2019-07-29 21:44:48
6393
转载 数据仓库架构
数据仓库的核心功能从源系统抽取数据，通过清洗、转换、标准化，将数据加载到BI平台，进而满足业务用户的数据分析和决策支持。数据仓库架构包含三个部分：数据架构、应用程序架构、底层设施。...
2019-07-29 20:52:34
153
转载 数据治理成功的六大要素
帆软作为全球数据分析和商业智能平台提供商，这几年深刻的感受到了全球数据应用的热潮，但是随着越来越多的客户开始实施并广泛应用BI系统，数据治理的话题也在最近被越来越多地提及和讨论。过去的十年，银行的IT系统经历了数据量高速膨胀的时期，这些海量的、分散在不同角落的异构数据导致了数据资源的价值低、应用难度大等问题。同时，银行内部的业务条线或行政分化也在不断地制造着银行数据交互的断层，而银...
2019-07-21 22:36:20
380
原创 数据治理之yarn日志解析
package log;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import lombok.extern.slf4j.Slf4j;import org.apache.commons.lang.St...
2019-07-21 21:22:28
632
转载 数据仓库|当我们用【维度建模】的时候，我们在建什么？
--引言--为什么要数据建模如果把数据看作图书馆里的书，我们希望看到他们在书架上分门别类的放置；如果把数据看作城市的建筑，我们希望这个城市规划布局能够合理。数据模型就是一种数据组织和存储方法，从业务数据存取和使用的角度，合理地加工存放数据。传统的关系型数据库系统，通常面向的数据操作是随机读写，主要采用满足3NF的ER模型来存储数据，从而在事务处...
2019-07-19 20:27:21
233
转载 大数据环境数据仓库&维度建模
目录 数据仓库基本概念 维度建模 缓慢变化维度 拉链表 数据分层 1.1 数据仓库基本概念1.2 维度建模1.3 缓慢变化维度1.4 拉链表1.5 数据分层...
2019-07-19 20:26:25
629
1
转载 数据仓库之维度建模的十大原则
原则1、围绕业务流程构建维度模型业务流程是组织执行的活动，它们代表可测量的事件，如下一个订单或做一次结算，业务流程通常会捕获或生成唯一的与某个事件相关的性能指标，这些数据转换 成事实后，每个业务流程都用一个原子事实表表示，除了单个流程事实表外，有时会从多个流程事实表合并成一个事实表，而且合并事实表是对单一流程事实表的一 个很好的补充，并不能代替它们。原则2、确保每个事实表都有一个与之关联的...
2019-07-19 20:25:15
217
转载 大数据和Hadoop时代的维度建模和Kimball数据集市
本文翻译自“Dimensional Modeling and Kimball Data Marts in the Age of Big Data andhadoop”，翻译已获得原作者 Uli Bethke 授权。Uli Bethke 是 Sonra 公司的 CEO，爱尔兰 Hadoop 用户组主席，也是 Oracle 的 ACE。 维度建模已死? 在回答这个问题之前，让我们回头来看...
2019-07-19 20:24:12
487
转载 数据仓库维度建模步骤
在商业智能项目的实施过程中，维度建模技术和企业数据仓库建模是两种不同的方法论，以下是以应用驱动、提供快速原型的商业智能项目的实施和规划过程中使用的维度建模方法时的标准实施过程。具体到项目中则根据项目的规模及所涉及的业务范围而有所补充或裁减。1. 商业智能项目规划a) 数据仓库项目的定义及范围b) 项目准备评估c) 业务合理性证明2. 商业智能项目业务需求定义a) 业务需求收集...
2019-07-19 09:00:20
1673
转载 数据中台元年，企业数字化转型面临的三大挑战
https://yq.aliyun.com/articles/700844?spm=a2c4e.11153940.0.0.795b3d139umohn随着企业信息化程度越来越高，企业掌握的数据量从原来的TB级发展到PB级，再到EB级甚至往ZB级别发展。数据形式也在从原来的结构化数据为主转变为以日志、视频、图片、语音等非结构化数据为主。然而，数据存储和计算、数据组织的运行都是有成本的。当数据...
2019-07-12 14:22:32
1022
转载 数据中台专栏（六）：企业数据指标的那些事儿
https://yq.aliyun.com/articles/630213?spm=a2c4e.11153940.0.0.31854d23uPbGtH袋鼠云数据中台解决方案专家。拥有近10年大数据从业经验，拥有PMP项目管理资格认证，精通数据类项目的开发实施和管理。曾服务过国家工商总局、北京市工商局、北京市财政局、广州开发区大数据局、平湖人社局、海盐人社局等行政单位，担任多个大型数...
2019-07-10 21:15:24
1163
转载 数据中台专栏（五）：数栈，企业级一站式数据中台PaaS
https://yq.aliyun.com/articles/630212?spm=a2c4e.11153940.0.0.bf6f3266caw5Zi2014年还在阿里云的时候，内部有一个5K+的项目，集合了当时CDO的多支团队在北京联合关小黑屋，希望能够将内部广泛使用的一套大数据开发工具打造成在公共云上对外服务的大数据PaaS。事后来看，这个项目当时有很多争执，也算不上多成功，尤...
2019-07-10 21:13:44
798
转载 数据中台专栏（三）：数据质量分析及提升
https://yq.aliyun.com/articles/604574?spm=a2c4e.11153940.0.0.105710b5BgpxIj管理引起的数据质量问题 ：公司核心部门对某数据做了物理删除 ，不留痕迹 ：譬如在 2月 29 号 下单了 ，但是 3月一号 进行数据删除 从总体来说 2月 3月 应该少一条数据 ，但是因为删除了 其实 这个数据是多余出来...
2019-07-10 20:36:13
1371
转载 袋鼠云数据中台专栏（二） ：数据资源规划与获取
https://yq.aliyun.com/articles/604573?spm=a2c4e.11153940.0.0.5157a048sb85kV10年以上技术应用经验沉淀，在金融、政府、互联网行业领域具有资深背景。曾担任过多个大型项目的项目经理或咨询总监，服务过云上贵州、浙江交通运输厅、天弘基金、新网银行等多家大型企事业单位。正文：正文 “人类已经由IT时代进...
2019-07-10 09:01:09
671
转载 袋鼠云数据中台专栏（一） ：浅析数据中台策略与建设实践
袋鼠云数据中台专栏（一） ：浅析数据中台策略与建设实践https://yq.aliyun.com/articles/604571?spm=a2c4e.11153940.0.0.22e27e09zv9TC0正文：数据中台是什么？数据中台建设的价值在哪里？数据中台和传统数仓还有数据中心有什么区别？这几乎是笔者最近被别人问到的最多的问题。之所以有这些疑问，其一是不懂的同学真...
2019-07-09 16:07:39
513
转载 袋鼠云数据中台专栏V2.0 | 数据中台之数据集成
https://yq.aliyun.com/articles/704530?spm=a2c4e.11153959.0.0.6ff3147cD21S8j关于袋鼠云数据中台专栏V2.0数据中台如何定义？企业数据化与数据中台的关系是什么？数据中台如何支撑企业战略转型？袋鼠云近两年来，先后为国内数十家大型龙头企业提供数据中台咨询与实施落地服务，积累了大量的实战经验，同时也在为客户服务的...
2019-07-09 11:30:59
1001
转载 数据中台专栏（四）：数据中台设计与数据资产管理
https://yq.aliyun.com/articles/630211袋鼠云大数据解决方案专家。专注于云计算、大数据、企业级技术架构（EA）等领域，在互联网、零售、工业等行业有深入的理解和丰富的从业经验，曾带领项目团队完成中金易云、货币网、固德威等企业级大数据项目交付，擅长行业大数据解决方案的咨询与落地。正文：正文企业的发展，往往伴随着业务更多元化，也必然会促进更多的业...
2019-07-09 09:34:32
7824
转载 袋鼠云数据中台专栏2.0 | 数据中台之数据源
https://yq.aliyun.com/articles/702044?spm=a2c4e.11153940.0.0.462232660nZavj当今企业在发展和经营的过程中，「信息化」早已是建设标准，在企业运作的过程中，或多或少地，积累了很多数据。在进入到DT时代，数据成为企业未来成长的引擎也越来越被认可。有先见之明的企业更注重于从方方面面来收集各项数据。我们今天的话题就以数据产生...
2019-07-09 09:21:34
569
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人