数据仓库
SunmonDong
这个作者很懒,什么都没留下…
展开
-
数据仓库---企业信息工厂(EIF)
企业信息工厂(Corporate Information Factory,简称EIF),是一种建立数据仓库的架构,企业信息工厂的创始人是数据仓库之父Inmon。 企业信息工厂主要包括集成转换层(I&T),操作数据仓库(ODS),企业级数据仓库(EDW),数据集市(DM),探索仓库(EW)等部件。这些部件有机的组合在一起,为企业提通信息服务。 集成转换层的目的是将来自操作型源系统的数据集成转换到数原创 2016-05-25 20:39:28 · 2557 阅读 · 0 评论 -
数据仓库介绍
一,什么是数据仓库数据仓库是一个面向主题的,集成的,不可更新的,随时间不变化的数据集合,他做用于支持企业或组织的决策分析处理。二,数据仓库的结构和建立过程1,数据源:业务数据系统,文档资料,其他数据。2,数据存储及管理: (1).抽取; (2).转载; (3).装载;3,数据仓库引擎:服务器4,前端展示:数据查询,数据报表, 数据分析,各类应用。三,OLTP应用与O原创 2016-05-19 21:29:47 · 821 阅读 · 0 评论 -
数据仓库——Hive入门介绍
一,什么是Hive:1.Hive是建立在Hadoop HDFS上的数据仓库基础架构;2.Hive可以用来进行数据提取转化加载(ETL)3.Hive定义了简单的类似SQL查询语言,称为HQL它允许熟悉SQL的用户查询数据4.Hive允许熟悉MapRduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作;5.Hive是SQL解析引原创 2016-05-20 11:35:17 · 4185 阅读 · 0 评论 -
Hive的数据存储(内部表,外部表,分区表,桶表,视图)
一,Hive的数据存储1,基于HDFS2,没有专门的数据存储格式3,存储结构主要包括:数据库,文件,表,视图4,可以直接加载文本文件(.txt文件等)5,创建表示,指定Hive数据的列分隔符与行分隔符二,Hive的数据模型1,表1,Table 内部表 1).与数据库中的Table在概念上是类似的 2).每一个Table在Hive中都有一个相应的目录存储数据 3).所有的Tab原创 2016-05-20 17:36:48 · 3712 阅读 · 0 评论 -
数据仓库----Hive进阶篇 二
上回说到内置函数四、hive的表连接学习前准备三张表: 1、等值连接如果连接条件中是一个等号这是等值连接2、不等值连接如果连接条件中不是一个等号这是不等值连接3、外连接例题:按部门统计员工人数:部门号,部门名称,人数 1)、使用等值连接: 结果为: 查询部门表得到: 可以看出通过直接连接查询的结果少了一个部门,这是因为在empno表中没有operations这个部门,导致w原创 2016-05-21 17:01:41 · 1792 阅读 · 0 评论 -
数据仓库----Hive进阶篇 一
一、数据的导入1、使用Load语句执行数据的导入1.语法: 其中(中括号中表示可加指令): LOCAL:表示指定的文件路径是否是本地的,没有则说明是HDFS上的文件路径。 OVERWRITE:表示覆盖表中的已有数据。 PARTITION ():如果是向分区表中导入数据的话需要指定分区。2.实例: (1).无分区情况: 其中的'原创 2016-05-21 15:46:04 · 15010 阅读 · 0 评论