kimball维度建模步骤

业务需求 维度模型 1.业务处理 2.粒度 3.维度 4.事实 (数据实际) 首先对业务进行描述,以使建立的维度与事实表更容易理解。 在对业务实例研究进行描述之后,现在就可以开始维度建模的设计工作了。 第一步:选取业务处理 设计工作的第一步使,通过将对业务需求的理解与对可用数据的理解组合起来...

2018-11-09 11:48:45

阅读数:29

评论数:0

* Oracle执行计划——表连接方式&oracle访问数据方式

1. 全表扫描:指oracle在访问目标表里的数据时,会从该表所占用的第一个区(EXTENT)的第一个块(BLOCK)开始扫描,一直扫描到该表的高水位线(HWM, High Water Mark),这段范围内所有的数据块oracle都必须读到(高水位线会随分配给表的现有空间不足而向上移动;但d...

2018-09-12 17:14:32

阅读数:33

评论数:0

Oracle——分析函数

目录   基本语法 求部门工资的累加 查询每个部门最高工资和最低工资 按工资排序并创建序号   基本语法 函数名称([参数,...]) over (partition by 子句 字段,... [order by 子句 字段,... [ASC|DESC]  [NULLS FIRS...

2018-08-30 17:18:38

阅读数:17

评论数:0

数据仓库——关系模型和维度模型

大神Inmon的《数据仓库》和kimball《数据仓库工具箱》算是两个经典吧,最近出了本很厚的《数据仓库与商业智能宝典》,但也是人家kimball以前经典文章的合集。   关系建模又叫ER建模,是数据仓库之父Inmon推崇的,其从全企业的高度设计一个3NF模型的方法,用实体加关系描述的数据模型...

2018-07-07 09:59:40

阅读数:639

评论数:0

linux:find-文件查找、grep-文件内容查找

在使用linux时,经常需要进行文件查找。其中查找的命令主要有find和grep。两个命令是有区的。   区别:(1)find命令是根据文件的属性进行查找,如文件名,文件大小,所有者,所属组,是否为空,访问时间,修改时间等。                 (2)grep是根据文件的内容进行查...

2018-12-12 14:42:43

阅读数:7

评论数:0

数据仓库——阿里五层模型架构

目录 1. ODS 数据准备层 2. DWD 数据明细层 3. DW(B/S) 数据汇总层 4. DM 数据集市层 5. ST 数据应用层 解码OneData,阿里的数仓之路     1. ODS 数据准备层 功能:ODS层是数据仓库准备区,为DWD层提供基础原始数据,可减少对...

2018-12-04 16:11:14

阅读数:10

评论数:0

Oracle里SQL优化的方法论

Oracle数据库里SQL优化方法论的第一点:Oracle里SQL优化的本质是基于对CBO和执行计划的深刻理解。Oracle数据库里SQL优化的终极目标就是要缩短目标SQL语句的执行时间。 1.降低目标SQL语句的资源消耗 改写SQL降低目标SQL语句的资源消耗,不更改业务逻辑 不改写SQL...

2018-11-27 20:13:12

阅读数:17

评论数:0

常用SQL-on-Hadoop产品:Hive、SparkSQL、Impala、HAWQ

常用SQL-on-Hadoop产品的不足 1. Hive         Hive是最老牌的一款Hadoop数据仓库产品,更够部署在所有Hadoop发行版本之上。它在MapReduce计算框架上封装一个SQL语义层,极大简化了MR程序的开发。直到现在,Hive以其稳定性依然赢得大量用户。   ...

2018-11-23 11:35:37

阅读数:15

评论数:0

数据仓库中的慢变化维度和快变化维度

数据仓库中的事实表总是在变化中,通常是新的业务数据不断装载入DW。事实表数据的增加是正常现象,也无需特别处理。但很多时候维度表的数据也会发生变化,且维度表的数据变化会导致维度表和事实表的关系发生变化。因此对于维度变化,该如何设计维度表,是本文要讨论的问题。 例如一个订单事实表和一个客户维度表,每...

2018-11-23 10:56:24

阅读数:36

评论数:0

spark与Hadoop比较

spark与Hadoop的比较  Hadoop应用场景:离线处理,对时效性要求不高硬盘 spark应用场景:基于内存时效性要求高的场景,机器学习等领域   比较 spark不具有HDFS等存储能力,要借助HDFS等持久化数据...

2018-11-22 23:05:25

阅读数:19

评论数:0

Spark

spark是一个快速且通用的集群计算平台     上park是快速的  spark扩充了流行的mapreduce计算模型 spark是基于内存的计算   spark是通用的 spark的设计容纳了其他分布式系统拥有的功能:批处理,迭代式计算,交互查询和流处理等 优点:降低了维护成本 ...

2018-11-22 22:59:44

阅读数:56

评论数:0

JOIN关联表中on、where后面跟条件的区别-待整理

select * from td   left join ( select case_id as sup_case_id , count(*) supervise_number from   td_kcdc_case_sup_info   group by  case_id   ) sup  o...

2018-11-22 20:12:16

阅读数:4

评论数:0

In、or、exists、not in、not exists

目录 in和or:没有索引或主键时,随数据量增多,or性能急剧下降 in和exists:主表小、子表大用exists;主表大、子表小用in not in和not exists:无论哪个表大,not exists都比not in快 in和or:没有索引或主键时,随数据量增多,or性能急剧下降...

2018-11-22 18:03:18

阅读数:20

评论数:0

Oracle执行计划变更

SQL执行计划变更导致数据库负载突升。Oracle的CBO模式会根据字段的取值比重调整对应的执行计划,无论如何,都会选择成本值最低的一个执行计划,这也是CBO优于以前RBO的地方,这里仅用于实验,因为一般OLTP的应用会使用绑定变量的写法,不会像上面这种使用常量值的写法,11g之前,可能带来的一些...

2018-11-21 16:33:27

阅读数:14

评论数:0

Oracle统计信息

统计信息概念及分类 Oracle统计信息是存储在数据字典里的一组数据,从多个维度描述了oracle数据库里对象的详细信息。CBO会利用这些统计信息来计算目标SQL各种可能的、不同的执行路径成本,并从中选择一条成本值最小的执行路径来作为目标SQL的执行计划 oracle数据库里的统计信息分为以下...

2018-11-20 20:23:38

阅读数:28

评论数:0

Oracle——高级排序函数 & 高级分组函数

高级排序函数 [ ROW_NUMBER()| RANK() | DENSE_RANK ] OVER (partition by xx order by xx) 1.row_number() 连续且递增的数字 1 2 3 4    row_number() over (partition by ...

2018-11-13 10:47:14

阅读数:10

评论数:0

PL/SQL——动态SQL & 游标

动态SQL 1. 使用动态SQL可以在依赖对象不存在时创建子程序 2. 动态SQL主要利用execute immediate语句执行DML、DDL、DCL等语句操作 3. 如果使用了绑定变量,则必须在execute immediate中使用using字句设置所需要的绑定变量 4. 使用re...

2018-11-06 10:57:51

阅读数:8

评论数:0

专栏笔记:基于hadoop生态圈的数据仓库实践

原专栏地址:https://blog.csdn.net/column/details/hadoop-dw.html?&page=2 概述 数据仓库是一个面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持决策。它主要的目标是分析和处理数据,和传统的操作型事务处理...

2018-11-05 11:15:25

阅读数:28

评论数:0

oracle——connect by level

  connect by 层级查询 用于存在父子,祖孙,上下级等层级关系的数据表进行层级查询   语法格式:     { CONNECT BY [ NOCYCLE ] condition [AND condition]... [ START WITH condition ]     | ST...

2018-11-02 15:19:55

阅读数:26

评论数:0

python——数据获取

目录   1. 从键盘获取数据 2. 从文本文件获取数据 0. 列表:列表是对象的有序集合,内容及长度可变 a = [1, 3, 5, 7] 元组:内容不可修改 a = (1, 3, 5, 7) 字典:{键:值} dict = {'abc':123, 98.6:37} set:无序...

2018-11-01 19:52:49

阅读数:24

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭