2017年06月_wzy0623

原创 HAWQ + MADlib 玩转数据挖掘之（一）——安装

一、MADlib简介 MADlib是Pivotal公司与伯克利大学合作的一个开源机器学习库，提供了精确的数据并行实现、统计和机器学习方法对结构化和非结构化数据进行分析，主要目的是扩展数据库的分析能力，可以非常方便的加载到数据库中, 扩展数据库的分析功能，2015年7月MADlib成为Apache软件基金会的孵化项目，其最新版本为MADlib1.11，可以用在Greenplum、Pos

2017-06-30 16:58:09 7256 4

原创利用Flume将MySQL表数据准实时抽取到HDFS

一、为什么要用到Flume 在以前搭建HAWQ数据仓库实验环境时，我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS，然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置即可完成数据抽取任务，但缺点同样明显，那就是实时性。Sqoop使用MapReduce读写数据，而MapReduce是为了批处理场景设计的，目标是大吞吐量，并不太关心低延时问题。就像实验中所做的，每天定

2017-06-23 17:25:34 25630 13

原创 HAWQ中的行列转置

行列转置是ETL或报表系统中的常见需求，HAWQ提供的内建函数和过程语言编程功能，使行列转置操作的实现变得更为简单。

2017-06-21 17:11:26 1408

原创洪荒之力已无，追求之心尚在

一、致谢我的第一本习作《Hadoop构建数据仓库实践》出版了。感谢CSDN博客提供的技术学习平台，能让我把自己平时积累的技术心得加以总结，形成一篇篇博文与人分享。正因如此才有了将博文整理成书的机会。二、写书动因技术的发展实在太快了。就拿数据仓库来说，从Bill Inmon在1991年提出数据仓库的概念至今已有将近三十年的时间。在这期间人们所面对的数据，以及处理数据的

2017-06-16 16:03:44 5344 17

原创 HAWQ取代传统数仓实践（十九）——OLAP

一、OLAP简介1. 概念 OLAP是英文是On-Line Analytical Processing的缩写，意为联机分析处理。此概念最早由关系数据库之父E.F.Codd于1993年提出。OLAP允许以一种称为多维数据集的结构，访问业务数据源经过聚合和组织整理后的数据。以此为标准，OLAP作为单独的一类技术同联机事务处理（On-Line Transaction Processing，

2017-06-14 13:37:15 7316 1

原创 HAWQ取代传统数仓实践（十八）——层次维度

一、层次维度简介大多数维度都具有一个或多个层次。例如，示例数据仓库中的日期维度就有一个四级层次：年、季度、月和日。这些级别用date_dim表里的列表示。日期维度是一个单路径层次，因为除了年-季度-月-日这条路径外，它没有任何其它层次。为了识别数据仓库里一个维度的层次，首先要理解维度中列的含义，然后识别两个或多个列是否具有相同的主题。例如，年、季度、月和日具有相同的主题，因为它们都

2017-06-12 17:34:36 3999

原创 HAWQ取代传统数仓实践（十七）——事实表技术之累积度量

累积度量指的是聚合从序列内第一个元素到当前元素的数据，例如统计从每年的一月到当前月份的累积销售额。本篇说明如何在销售订单示例中实现累积月销售数量和金额，并对数据仓库模式、初始装载、定期装载做相应地修改。累积度量是半可加的，而且它的初始装载要复杂一些。一、建立累积度量事实表执行下面的脚本创建month_end_balance_fact事实表，用来存储销售订单金额和数量的月累积值。se

2017-06-09 18:38:13 3636

原创 HAWQ取代传统数仓实践（十六）——事实表技术之迟到的事实

一、迟到的事实简介数据仓库通常建立于一种理想的假设情况下，这就是数据仓库的度量（事实记录）与度量的环境（维度记录）同时出现在数据仓库中。当同时拥有事实记录和正确的当前维度行时，就能够从容地首先维护维度键，然后在对应的事实表行中使用这些最新的键。然而，各种各样的原因会导致需要ETL系统处理迟到的事实数据。例如，某些线下的业务，数据进入操作型系统的时间会滞后于事务发生的时间。再或者出现

2017-06-08 17:00:26 4635

原创 HAWQ取代传统数仓实践（十五）——事实表技术之无事实的事实表

一、无事实事实表简介在多维数据仓库建模中，有一种事实表叫做“无事实的事实表”。普通事实表中，通常会保存若干维度外键和多个数字型度量，度量是事实表的关键所在。然而在无事实的事实表中没有这些度量值，只有多个维度外键。表面上看，无事实事实表是没有意义的，因为作为事实表，毕竟最重要的就是度量。但在数据仓库中，这类事实表有其特殊用途。无事实的事实表通常用来跟踪某种事件或者说明某些活动的范围。

2017-06-06 11:02:35 6241

原创 HAWQ取代传统数仓实践（十四）——事实表技术之累积快照

一、累积快照简介累积快照事实表用于定义业务过程开始、结束以及期间的可区分的里程碑事件。通常在此类事实表中针对过程中的关键步骤都包含日期外键，并包含每个步骤的度量，这些度量的产生一般都会滞后于数据行的创建时间。累积快照事实表中的一行，对应某一具体业务的多个状态。例如，当订单产生时会插入一行。当该订单的状态改变时，累积事实表行被访问并修改。这种对累积快照事实表行的一致性修改在三种类型的

2017-06-05 14:52:29 6659

原创 HAWQ取代传统数仓实践（十三）——事实表技术之周期快照

一、周期快照简介周期快照事实表中的每行汇总了发生在某一标准周期，如一天、一周或一月的多个度量。其粒度是周期性的时间段，而不是单个事务。周期快照事实表通常包含许多数据的总计，因为任何与事实表时间范围一致的记录都会被包含在内。在这些事实表中，外键的密度是均匀的，因为即使周期内没有活动发生，通常也会在事实表中为每个维度插入包含0或空值的行。周期快照是在一个给定的时间对事实

2017-06-02 15:32:53 6552

原创 HAWQ取代传统数仓实践（十二）——维度表技术之分段维度

一、分段维度简介在客户维度中，最具有分析价值的属性就是各种分类，这些属性的变化范围比较大。对某个个体客户来说，可能的分类属性包括：性别、年龄、民族、职业、收入和状态，例如，新客户、活跃客户、不活跃客户、已流失客户等。在这些分类属性中，有一些能够定义成包含连续值的分段，例如年龄和收入这种数值型的属性，天然就可以分成连续的数值区间，而象状态这种描述性的属性，可能需要用户根据自己的实际业

2017-06-01 11:42:25 5307

wzy0623的专栏