z_xiaozhuT的博客

一、数据的导入1、使用Load语句执行数据的导入1.语法： 其中（中括号中表示可加指令）： LOCAL：表示指定的文件路径是否是本地的，没有则说明是HDFS上的文件路径。 OVERWRITE：表示覆盖表中的已有数据。 PARTITION ()：如果是向分区表中导入数据的话需要指定分区。2.实例： (1).无分区情况：

0x00 前言过了半年时间，对数据仓库的理解又有了一些不同的认识，翻出来之前写的关于拉链表的内容，稍作修改重新发出来。本篇将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。内容全文由下面几个部分组成： 先分享一下拉链表的用途、什么是拉链表。 举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的...

最近由于很多人问我什么是OLAP,从而发现目前OLAP对大多数人来说还是个新名词,这里我来简单讲讲OLAP(联机分析)。        联机分析（OLAP）是由关系数据库之父E.F.Codd于1993年提出的一种数据动态分析模型，它允许以一种称为多维数据集的多维结构访问来自商业数据源的经过聚合和组织整理的数据。以此为标准，OLAP作为单独的一类产品同联机事务处理（OLTP）得以明显区分。　　...

概述数据仓库包含的内容很多，它可以包括架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组建为中心的数据架构体系。 各种数据建模方法，如维度建模。 调度系统、元数据系统、ETL系统、可视化系统这类辅助系统。我们暂且不管数据仓库的范围到底有多大，在数据仓库体系中，数据模型的核心地位是不可替代的。因此，下面的将详细地阐述数据建模...

一、文章主题本文主要讲解数据仓库的一个重要环节：如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。 数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。 各种重复计算，严重浪费了...

前言        本文将详细介绍数据仓库维度建模技术，并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系：规范化数据仓库，维度建模数据仓库，以及独立数据集市。 维度建模的基本概念        维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。        它本身属于一种关系建模方法，但和之前在操作型...

前言        上一篇重点讲解了数据仓库建模，它是数据仓库开发中最核心的部分。然而完整的数据仓库系统还会涉及其他一些组件的开发，其中最主要的是ETL工程，在线分析处理工具(OLAP)和商务智能(BI)应用等。        本文将对这些方面做一个总体性的介绍(尤其是OLAP)，旨在让读者对数据仓库的认识提升到一个全局性的高度。创建数据仓库        数据仓库的创建方法和数据...