![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库
文章平均质量分 88
韦宇
这个作者很懒,什么都没留下…
展开
-
Linux和UNIX下如何配置PWC连SQL Server数据源
问题描述InformaticaPower Center产品安装部署在Linux/UNIX主机上,由于Linux和UNIX系统上没有MicrosoftSQL Server的Native Driver,建议使用InformaticaPowerCenterOEM的DataDirect ODBC来访问Microsoft SQL Server解决方案此文档以Linux系统为例,系统用户为原创 2016-06-23 15:46:58 · 1437 阅读 · 0 评论 -
AIX下安装Powercenter产品提示INFA JDK HOME无效
问题描述AIX环境下安装Powercenter9.5.x报“INFA-JDK-HOME环境变量无效”错误:The INFA-JDK-HOMEis not valid。Set the INFA-JDK-HOME environment variableto aValid Java directory。 解决方案从9.5.0版本之后,在AIX,HP-UX和Linux上的I原创 2016-06-23 15:06:02 · 745 阅读 · 0 评论 -
Cannot start the task because the resource provision thresholds have been reached. This task will wa
Problem DescriptionA scheduled session is not executed on time and the following error is displayed in the Integration Service log:LB_47063 : Cannot start the task [:Session task原创 2016-04-08 16:08:28 · 827 阅读 · 0 评论 -
Informatica元数据库解析
Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解。Informatica通过表和视图给我们提供着所有的信息,在此将通过一个系列的帖子,将大部分常见的,且非常有用的表及视图介绍一下。基于这些东西,我原创 2016-04-08 13:49:29 · 3144 阅读 · 0 评论 -
15.数据仓库建设基本原则-实践篇
数据仓库建设原则第一条:一切为就绪数据让路;数据仓库建设原则第二条:业务分析和数据分析深浅有度;数据仓库建设原则第三条:数据价值挖掘切莫求之过急,水到渠才能成;数据仓库建设原则第四条:团队目标必须一致,可以有异议,但是不可有异声;数据仓库建设原则第五条:资深行业专家团队系统建设采用自顶向下,其他模式采用自下向上;数据仓库建设原则第六条:内容决定形式,文档表述切记死扣细节;数...转载 2018-11-16 16:52:05 · 650 阅读 · 0 评论 -
16.数据建模语言IDEF
1引言IDEF的含义是集成计算机辅助制造(Integrated Computer-AidedManufacturing,ICAM)DEFinition。最初的IDEF方法是在美国空军ICAM项目建立的,最初开 发3种方法:功能建模(IDEF0)、信息建模(IDEF1)、动态建模(IDEF2),后来,随着信息系统的相继开发,又开发出了下列IDEF族方法: 数据建模(IDEF1X)、过程描述获取...转载 2018-11-16 16:58:36 · 637 阅读 · 0 评论 -
17.数据建模语言Information Engineering - IE模型
Information Engineering采用Crow's Foot表示法(也有叫做James Martin表示法的),中文翻译中对使用了Crow's Foot表示法的模型也有笼统的称做鸭掌模型的(关联关系的关联基数中采用到了一个鸭掌形的三叉线来表示)。他由Clive Finkelstein发明,与James Martin一起推广,后来两人各自做了些修正形成两份版本前面示例模型的Infor...转载 2018-11-16 17:27:33 · 1924 阅读 · 0 评论 -
18.案例篇:电商领域数据主题域模型设计v0.2
一、电商分类(平台+自营+复合) (1)平台型电商:淘宝+天猫+百度Mall等; (2)自营型电商: 2.1 综合型:京东(早期)+当当(早期); 2.2 垂直型:好像这种类型越来越少了; (3)复合型电商(平台+自营):京东+当当+亚马逊等; 二、平台型电商特点(三无+两有+一核心) (1)三无:无商品、无库存、无物流; (2)两有:有...转载 2018-11-16 17:29:15 · 5274 阅读 · 2 评论 -
19.Kimball总线矩阵说明-官方版
一、前言 Over the years, I have found that a matrix depiction of the data warehouse plan is a pretty good planning tool once you have gathered the business requirements and performed a full data audit. ...转载 2018-12-19 16:10:30 · 731 阅读 · 0 评论 -
20.总线架构和维度建模优势-杂项
一、总线架构 维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact)。在多维体系结构(MD) 的数据仓库架构中,主导思想是分步建立数据仓库,由数据集市组合成企业的数据仓库。但是...转载 2018-12-19 16:12:13 · 750 阅读 · 0 评论 -
21.数据仓库架构体系总结
一、数据仓库架构 二、数据主题域设计 三、星型模型设计 数据处理技术QQ群:467404632 原文地址 https://www.cnblogs.com/hadoopdev/p/5753063.html ...转载 2018-12-19 16:15:41 · 491 阅读 · 0 评论 -
14.星型模型中事实表作为维表使用面临的问题和解决方法
一、概述 星型模型设计,经常遇到的问题便是,此业务过程之维度,恰恰是另外一个业务过程的事实。最简单的例子如,产品销售业务活动,以订单为事实,以客户、产品、销售人员等为维度;而产品维度,在产品生产业务过程中则作为事实存在。那么问题来了,模型设计时,在逻辑模型层次如何表征这种关系,在物理模型层,又如何实现这种关系。人是活的,技术是死的,条条大道通罗马,没有火车飞机,马可波罗一样来到到了中...转载 2018-11-16 16:50:29 · 602 阅读 · 0 评论 -
13.数据分类模型
一、数据分类模型数据库的类型是根据数据模型来划分的,而任何一个DBMS也是根据数据模型有针对性地设计出来的,这就意味着必须把数据库组织成符合DBMS规定的数据模型。目前成熟地应用在数据库系统中的数据模型有:层次模型、网状模型和关系模型。它们之间的根本区别在于数据之间联系的表示方式不同(即记录型之间的联系方式不同)。层次模型以“树结构”表示数据之间的联系。网状模型是以“图结构”来表示数据之间的...转载 2018-11-16 16:48:40 · 1993 阅读 · 0 评论 -
12.缓慢变化维处理技术
一、案例描述 在一个零售业数据仓库中,事实表保存着各销售人员的销售记录,某天一个销售人员从北京分公司调到上海分公司了,那么如何来保存这个变化呢?也就是说销售人员维度要怎么恰当的处理这一变化。 先来回答一个问题,为什么要处理,或保存这一变化?如果我们要统计北京地区或上海地区的总销售情况的时候,这个销售人员的销售记录应该算在北京还是算在上海?当然是调离前的算在北京,调离后的算在上海,但是如...转载 2018-11-16 16:41:05 · 252 阅读 · 0 评论 -
2.三个例子,让你看懂数据仓库多维数据模型的设计
一、概述 多维数据模型是最流行的数据仓库的数据模型,多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式,本文以实例方式展示三者的模式和区别。二、星型模式(star schema) 星型模式的核心是一个大的中心表(事实表),一组小的附属表(维表)。星型模式示例如下所示: 三、雪花模式(snowflake schema) 雪花模式是星型模式的扩展,其中某...转载 2018-11-07 15:34:34 · 5069 阅读 · 10 评论 -
3. 数据仓库3NF基础理论和实例
一、引言 最近在梳理大数据模式下的数据仓库数据模型,花了点时间,系统的回顾一下传统数据仓库数据模型设计的理论,作为笔记分享给大家,很多资料来自互联网和读过的数据仓库理论和实践相关的熟悉,无剽窃之心,共勉吧。二、3NF(1)1NF-无重复的列 数据库表的每一列都是不可分割的基本数据项,同一列中不能有多个值,即实体中的某个属性不能有多个值或者不能有重复的属性。 如果出现重复的...转载 2018-11-14 09:30:25 · 687 阅读 · 0 评论 -
4. 数据仓库生命周期模型
一、前言 工作内容的变更,导致重新回到数据仓库模型的架构和设计,于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系,记录下来,作为笔记吧。二、模型 无论数据仓库技术如何变化,从RDBMS到NoSQL,从传统技术到大数据,其实只是实现技术手段的变化,数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。下图是The Kimball Lifecycle diagra...转载 2018-11-14 09:33:09 · 464 阅读 · 0 评论 -
5.Kimball维度建模四步骤
一、前言 四步过程维度建模由Kimball提出,可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程,但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。二、数据仓库建设流程 以下流程是根据业务系统、组织结构、团队结构现状设定的数据仓库系统建设流程,适合系统结构复杂,团队协作复杂,人员结构复杂的情况,并且数据仓库建设团队和业务系统建设团队不同的情况。具体...转载 2018-11-14 09:38:09 · 4053 阅读 · 0 评论 -
6.分布式数据仓库事实表设计思考
一、前言 最近在设计数据仓库的数据逻辑模型,考虑到海量数据存储在分布式数据仓库中的技术架构模式,需要针对传统的面相关系型数据仓库的数据存储模型进行技术改造。设计出一套真正适合分布式数据仓库的数据存储模型。二、事实表设计基础 事实表记录发生在现实世界中的操作型事件,其所产生的可度数值。事实表的设计完全依赖于物理活动,不受可能产生的最终报表的影响。事实表中,除数字度量外,事实表...转载 2018-11-14 09:49:34 · 388 阅读 · 0 评论 -
7. 如何构建主题域模型原则之站在巨人的肩上(一)IBM-FSDM主题域模型划分
一、前言 如何构建主题域模型原则是构建企业级数据仓库重要的议题,最好的路径就是参照成熟的体系。IBM金融数据模型数据存储模型FSDM,是金融行业应用极为广泛的数据模型,可以作为我们构建企业级数据仓库主题域模型划分的重要依据。本文就IBM FSDM主题域模型进行初步的介绍。二、模型结构三、标准定义 关系人 IP 银行的业...转载 2018-11-14 09:55:10 · 2127 阅读 · 0 评论 -
8. 如何构建主题域模型原则之站在巨人的肩上(二)NCR FS-LDM主题域模型划分
一、前言 分布式数据仓库模型的架构设计,受分布式技术的影响,很多有自己特色的地方,但是在概念模型和逻辑模型设计方面,还是有很多可以从传统数据仓库模型进行借鉴的地方。NCR FS-LDM数据模型是金融行业事实上的工业标准。也是各行业数据仓库模型的基础和蓝本。本文以NCR FS-LDM10.0版本为基础,介绍NCR FS-LDM主题域模型的划分和定义。二、模型结构 ...转载 2018-11-14 10:01:50 · 587 阅读 · 0 评论 -
9.数据仓库、主题域、主题概念与定义
一、数据仓库 关于数据仓库概念的标准定义业内认可度比较高的,是由数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出: 中文定义:数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 英文定义:A data wareho...转载 2018-11-16 16:25:03 · 3034 阅读 · 0 评论 -
10.维度建模10大基本原则
一、前言 特别声明:本文整理自互联网。 遵循这些原则进行维度建模可以保证数据粒度合理,模型灵活,能够适应未来的信息资源,违反这些原则你将会把用户弄糊涂,并且会遇到数据仓库障碍。二、正文 原则1、载入详细的原子数据到维度结构中 维度建模应该使用最基础的原子数据进行填充,以支持不可预知的来自用户查询的过滤和分组请求,用户通常不希望每次只看到一个单一的记录...转载 2018-11-16 16:26:41 · 676 阅读 · 0 评论 -
11.维度属性选择之维护历史是否应该保留
一、背景 数据仓库建模过程中,针对事务型事实表设计,经常会遇到维度属性选择的问题,比如客户维度,在操作型系统中,为了跟踪客户状态的变化,往往会附加客户记录的四个属性: 1.add time:添加时间; 2.add user:添加用户; 3.mod time:修改时间; 4.mod user:修改用户; 问题在于,当我们进行维度建模的时候,如果以客户作为维...转载 2018-11-16 16:28:24 · 176 阅读 · 0 评论 -
1.数据仓库建模方法初步
一、前言 数据仓库得建模方法同样也有很多种,每一种建模方法其实代表了哲学上的一个观点,代表了一种归 纳,概括世界的一种方法。目前业界较为流行的数据仓库的建模方法非常多,这里主要介绍范式建模法,维度建模法,实体建模法等几种方法,每种方法其实从本质 上讲就是从不同的角度看我们业务中的问题,不管从技术层面还是业务层面,其实代表的是哲学上的一种世界观。我们下面给大家详细介绍一下这些建模方法。...转载 2018-11-07 15:32:12 · 294 阅读 · 0 评论