糖糖糖糖糖先森

把不忙不闲的工作做的出色,把不咸不淡的生活过得精彩 !!!

Sql设置默认值

select COALESCE( max(cus_last_update),'1970-01-01 00:00:00') from dim_sales_customer

2014-11-29 10:42:36

阅读数:744

评论数:0

kettle是进行数据库连接配置,出现数据库报错

在使用kettle是进行数据库连接配置,test总是不成功,报错如下: 错误连接数据库 [foodmartconn] : org.pentaho.di.core.exception.KettleDatabaseException:  Error occured while trying t...

2014-11-27 21:28:57

阅读数:7964

评论数:0

KETTLE如何实现实时的增量更新(两种方法)

要实现实时的增量更新共有两种方法: 1.通过触发器。在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时 表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽...

2014-11-27 11:21:59

阅读数:13431

评论数:0

Java将汉字转换成URL编码

String abcd = "中文";//或者使用abcd = "\u0061\u4E2D\u6587"; System.out.println(java.net.URLEncoder.encode("中文","u...

2014-11-26 10:51:48

阅读数:3717

评论数:0

Kettle调度和监控

Kettle调度和监控的理论知识介绍,具体内容如下: 1 调度     在这个指导文档中,主介绍两种类型Kettle任务和转换的调度方式。 Ø  操作系统级别的调度器:对于ETL来说,调度不是独一无二的。这是操作系统能够提供标准调度的一般性需要,如UNIX衍生系统上的...

2014-11-24 21:56:53

阅读数:3841

评论数:1

Kettle 增量更新设计技巧

摘要:本文主要讨论一些在ETL中设计增量更新的方法和技巧。   ETL中增量更新是一个比较依赖与工具和设计方法的过程,Kettle中主要提供Insert / Update 步骤,Delete 步骤和Database Lookup 步骤来支持增量更新,增量更新的设计方法也是根据应用场景来选取...

2014-11-24 21:53:26

阅读数:2884

评论数:0

简单JDBC连接数据库

Java代码   JdbcBatchInsert.java         import java.sql.*;   public class JdbcBatchInsert {       public static void main(String args[]) { ...

2014-11-24 17:32:28

阅读数:745

评论数:0

《分析服务从入门到精通读书笔记》第一章、多维OLAP概念篇(7)

目的   多维OLAP数据库处在数据存取层和表示层之间,它将关系性数据仓库中的数据转换成完全实现的维度模型,从而使分析报表的创建和数据的可视化更加快速和灵活。由于不同的OLAP数据库提供的特性和物理方式不同,我们将介绍分析服务如何实现维度模型。 内容 事实表中包含数值数据的列对应...

2014-11-24 14:45:33

阅读数:766

评论数:0

《分析服务从入门到精通读书笔记》第一章、其他可选表结构(6)

在业务数据库中,保证数据在所有应用程序中一致是极为重要的:如果在系统的某一部分修改了顾客的地址,这个修改后的地址立即在系统的所有部分显现出来,由于这种一致性的需要。倾向于将业务数据系统拆分成许多个表,这样任何值只在单个表中存储一次。任何时候需要某个值,包含这个值的表的连接就会被创建。保证一个值只存...

2014-11-24 14:45:08

阅读数:817

评论数:0

《分析服务从入门到精通读书笔记》第一章、代理键和渐变维度(5)

使用整数键值代表维度成员的一个原因是减少事实表的大小。同样,整数键允许将看似重复的成员存储在同一个维度表中。例如,在“顾客”维度中,可以有两个都叫Tom的顾客,但每个人都分配了唯一的“顾客”键,保证了维度表中成员键只出现一次。 当然,由于数据仓库是通过提取业务系统的中数据产生的,上述两个To...

2014-11-24 14:44:42

阅读数:795

评论数:0

《分析服务从入门到精通读书笔记》第一章、维度数据仓库(4)

简介 商业智能系统将维度数据仓库作为数据存取层。数据仓库存储在关系型数据库管理系统(RDBMS)中,打一个非常简单的比方,你可以将关系数据库简单地想作一系列的表格。每个表格有行和列,就行Excel电子表格一样。在维度数据仓库中,维度存储在维度表中,度量值被称作事实并存储于事实表(fact t...

2014-11-24 14:44:19

阅读数:759

评论数:0

《分析服务从入门到精通读书笔记》第一章、数据分析中的维度(3)

目的 学习数据中的维度 内容 维度分析是Bi开发中很重要的概念,为了帮助理解维度,让我们回顾一些文提到的报表。看一下AWC公司月度销售量表重新显示如下: 表1.8 AWC公司月度分析报表 2011年1月 2011年2月 2011年3月 2...

2014-11-24 14:43:49

阅读数:815

评论数:0

《分析服务从入门到精通读书笔记》第一章、数据分析层次结构(2)

目的 通过简单的层次结构将产品和模型属性进行组织,并使用层次结构对详细数据分组和汇总的报表。本节了解如何建立层次架构 内容 通过第一节中的介绍,相关属性添加到各个级别,可以创建层次结构。基于“模型”层次结构的产品只有两级,但其实层次结构可以有很多个级别。例如、通过将月份属性作为最...

2014-11-24 14:43:27

阅读数:818

评论数:0

《分析服务从入门到精通读书笔记》第一章、数据分析基础(1)

目的     学习一些商业智能的基本概念,如属性、层次结构和维度 数据分析中的属性    假设如果你是AWC公司的总经理,希望了解公司的业绩,于是从业务人员那里得到一份报表  表1.1 AWC公司业绩     42       看到...

2014-11-24 14:43:00

阅读数:785

评论数:0

BI开发之——Mdx基础语法(2)

结合webcast中老师的讲解,现在把基础语法应用通过几个案例应用如下: 一、维度的概念 上图中一个维度(Dimension):Region 改为度下有四个级别(Levels):country、province、city、county,他们属于层次集合(Hierarchy...

2014-11-24 14:42:07

阅读数:814

评论数:0

BI开发之——多维立方体(Cube)

在Bi领域,cube是一个非常重要的概念,是多维立方体的简称,主要是用于支持联机分析应用(OLAP),为企业决策提供支持。Cube就像一个坐标系,每一个Dimension代表一个坐标系,要想得到一个一个点,就必须在每一个坐标轴上取得一个值,而这个点就是Cube中的Cell。 如下图,在web...

2014-11-24 14:41:33

阅读数:1232

评论数:0

BI开发之——ETL注意细节

ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。     ETL是将业务系统的数据经过抽取、清洗...

2014-11-24 14:40:47

阅读数:1537

评论数:0

BI开发概念之——数据仓库与联机分析处理,数据挖掘

从发展计算机技术以来,对信息管理技术的不断提出了新的需求,推动数据库技术飞速发展,另一方面,随着数据处理能力的逐步提高、数据分析工具和技术的不断成熟,人们发现对数据库中的数据进行再加工,形成一个综合的、面向分析的环境,能更好的支持决策分析,发挥数据的更大价值。从而逐渐形成了数据仓库(Data  w...

2014-11-24 14:40:20

阅读数:881

评论数:0

BI开发之——Mdx基础语法

Mdx为MultiDimensional  Expressions的缩写,多维表达式,是标准的OLAP查询语言。在多数OLAPServer都提供Mdx支持,如Microsoft Sql Server OLAP Services,SAS,Hyperion Essbase等。支持多维对象于数据定义和操...

2014-11-24 11:17:49

阅读数:1364

评论数:0

Kettle 增量更新设计技巧

有删除,有增加,有更新   首先你需要判断你是否在处理一个维表,如果是一个维表的话,那么这可能是一个SCD情况,可以使用Kettle的Dimension Lookup 步骤来解决这个问题,如果你要处理的是事实表,方法就可能有所不同,它们之间的主要区别是主键的判断方式不一样。 事实表一般都...

2014-11-22 10:58:23

阅读数:1045

评论数:0

提示
确定要删除当前文章?
取消 删除