Sql设置默认值

select COALESCE( max(cus_last_update),'1970-01-01 00:00:00') from dim_sales_customer...
阅读(613) 评论(0)

kettle是进行数据库连接配置,出现数据库报错

在使用kettle是进行数据库连接配置,test总是不成功,报错如下: 错误连接数据库 [foodmartconn] : org.pentaho.di.core.exception.KettleDatabaseException:  Error occured while trying to connect to the database Exception while loadin...
阅读(2991) 评论(0)

KETTLE如何实现实时的增量更新(两种方法)

要实现实时的增量更新共有两种方法: 1.通过触发器。在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时 表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高,缺点是要求业务表建立触发器,对业务系统有 一定的影响。 2.通过时间戳。我...
阅读(7077) 评论(0)

Java将汉字转换成URL编码

String abcd = "中文";//或者使用abcd = "\u0061\u4E2D\u6587"; System.out.println(java.net.URLEncoder.encode("中文","utf-8"));...
阅读(1845) 评论(0)

Kettle调度和监控

Kettle调度和监控的理论知识介绍,具体内容如下: 1 调度     在这个指导文档中,主介绍两种类型Kettle任务和转换的调度方式。 Ø  操作系统级别的调度器:对于ETL来说,调度不是独一无二的。这是操作系统能够提供标准调度的一般性需要,如UNIX衍生系统上的Cron以及Windows系统上的任务调度器。这些调度器能够拥戴调度Kettle命令行程序来运行任务和...
阅读(2585) 评论(1)

Kettle 增量更新设计技巧

摘要:本文主要讨论一些在ETL中设计增量更新的方法和技巧。   ETL中增量更新是一个比较依赖与工具和设计方法的过程,Kettle中主要提供Insert / Update 步骤,Delete 步骤和Database Lookup 步骤来支持增量更新,增量更新的设计方法也是根据应用场景来选取的,虽然本文讨论的是Kettle的实现方式,但也许对其他工具也有一些帮助。本文不可能涵盖所...
阅读(1834) 评论(0)

简单JDBC连接数据库

Java代码   JdbcBatchInsert.java         import java.sql.*;   public class JdbcBatchInsert {       public static void main(String args[]) {           Connection con = null;           Statem...
阅读(665) 评论(0)

《分析服务从入门到精通读书笔记》第一章、多维OLAP概念篇(7)

目的   多维OLAP数据库处在数据存取层和表示层之间,它将关系性数据仓库中的数据转换成完全实现的维度模型,从而使分析报表的创建和数据的可视化更加快速和灵活。由于不同的OLAP数据库提供的特性和物理方式不同,我们将介绍分析服务如何实现维度模型。 内容 事实表中包含数值数据的列对应维度模型中的度量值。因此,每个事实表都是一组度量值,分析服务用一种称作度量值组(measure gro...
阅读(671) 评论(0)

《分析服务从入门到精通读书笔记》第一章、其他可选表结构(6)

在业务数据库中,保证数据在所有应用程序中一致是极为重要的:如果在系统的某一部分修改了顾客的地址,这个修改后的地址立即在系统的所有部分显现出来,由于这种一致性的需要。倾向于将业务数据系统拆分成许多个表,这样任何值只在单个表中存储一次。任何时候需要某个值,包含这个值的表的连接就会被创建。保证一个值只存储在一个地方是规范化(normalization)进程的一个部分,这在业务系统数据库系统是十分重要的。...
阅读(709) 评论(0)

《分析服务从入门到精通读书笔记》第一章、代理键和渐变维度(5)

使用整数键值代表维度成员的一个原因是减少事实表的大小。同样,整数键允许将看似重复的成员存储在同一个维度表中。例如,在“顾客”维度中,可以有两个都叫Tom的顾客,但每个人都分配了唯一的“顾客”键,保证了维度表中成员键只出现一次。 当然,由于数据仓库是通过提取业务系统的中数据产生的,上述两个Tom毫无疑问已经有了唯一的键值。其中一个可能是C12323A,另一个可能是F23454B。这些键称作为程...
阅读(713) 评论(0)

《分析服务从入门到精通读书笔记》第一章、维度数据仓库(4)

简介 商业智能系统将维度数据仓库作为数据存取层。数据仓库存储在关系型数据库管理系统(RDBMS)中,打一个非常简单的比方,你可以将关系数据库简单地想作一系列的表格。每个表格有行和列,就行Excel电子表格一样。在维度数据仓库中,维度存储在维度表中,度量值被称作事实并存储于事实表(fact table)中。 目的 介绍数据仓库中的维度表和事实表的概念及逻辑模型 内容 一...
阅读(659) 评论(0)

《分析服务从入门到精通读书笔记》第一章、数据分析中的维度(3)

目的 学习数据中的维度 内容 维度分析是Bi开发中很重要的概念,为了帮助理解维度,让我们回顾一些文提到的报表。看一下AWC公司月度销售量表重新显示如下: 表1.8 AWC公司月度分析报表 2011年1月 2011年2月 2011年3月 2012年4月 4 14 27 25   在这份...
阅读(673) 评论(0)

《分析服务从入门到精通读书笔记》第一章、数据分析层次结构(2)

目的 通过简单的层次结构将产品和模型属性进行组织,并使用层次结构对详细数据分组和汇总的报表。本节了解如何建立层次架构 内容 通过第一节中的介绍,相关属性添加到各个级别,可以创建层次结构。基于“模型”层次结构的产品只有两级,但其实层次结构可以有很多个级别。例如、通过将月份属性作为最底层,同时添加由季度和年度属性组成的中间级(intermediate level),可以创建包含多个级...
阅读(678) 评论(0)

《分析服务从入门到精通读书笔记》第一章、数据分析基础(1)

目的     学习一些商业智能的基本概念,如属性、层次结构和维度 数据分析中的属性    假设如果你是AWC公司的总经理,希望了解公司的业绩,于是从业务人员那里得到一份报表  表1.1 AWC公司业绩     42       看到这个表格你根本不能得到任何信息,也就是说这个表是没有任何意义的,没有上下文的数字可能是数据,但不是信息...
阅读(680) 评论(0)

BI开发之——Mdx基础语法(2)

结合webcast中老师的讲解,现在把基础语法应用通过几个案例应用如下: 一、维度的概念 上图中一个维度(Dimension):Region 改为度下有四个级别(Levels):country、province、city、county,他们属于层次集合(Hierarchy) 通过维度和级别我们可以定义一个元素(Member)如: Levels(1).membe...
阅读(702) 评论(0)

BI开发之——多维立方体(Cube)

在Bi领域,cube是一个非常重要的概念,是多维立方体的简称,主要是用于支持联机分析应用(OLAP),为企业决策提供支持。Cube就像一个坐标系,每一个Dimension代表一个坐标系,要想得到一个一个点,就必须在每一个坐标轴上取得一个值,而这个点就是Cube中的Cell。 如下图,在webcast上截了图: Cube是联机分析的关键。他们是一种多维结构,包含原始事实数据、聚合...
阅读(820) 评论(0)

BI开发之——ETL注意细节

ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。     ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据到一起,为企业的决策提供分析...
阅读(847) 评论(0)

BI开发概念之——数据仓库与联机分析处理,数据挖掘

从发展计算机技术以来,对信息管理技术的不断提出了新的需求,推动数据库技术飞速发展,另一方面,随着数据处理能力的逐步提高、数据分析工具和技术的不断成熟,人们发现对数据库中的数据进行再加工,形成一个综合的、面向分析的环境,能更好的支持决策分析,发挥数据的更大价值。从而逐渐形成了数据仓库(Data  warehouse, DW)的的思想,由此数据仓库技术营运而生。    数据仓库就是面向主题的(s...
阅读(749) 评论(0)

BI开发之——Mdx基础语法

Mdx为MultiDimensional  Expressions的缩写,多维表达式,是标准的OLAP查询语言。在多数OLAPServer都提供Mdx支持,如Microsoft Sql Server OLAP Services,SAS,Hyperion Essbase等。支持多维对象于数据定义和操作。Mdx很多方面与结构化查询语言(SQL)语法相似,但他不是SQL语言的扩展;事实上,Mdx所提供的...
阅读(963) 评论(0)

Kettle 增量更新设计技巧

有删除,有增加,有更新   首先你需要判断你是否在处理一个维表,如果是一个维表的话,那么这可能是一个SCD情况,可以使用Kettle的Dimension Lookup 步骤来解决这个问题,如果你要处理的是事实表,方法就可能有所不同,它们之间的主要区别是主键的判断方式不一样。 事实表一般都数据量很大,需要先确定是否有变动的数据处在某一个明确的限定条件之下,比如时间上处在某个特定区间,或者某...
阅读(844) 评论(0)
90条 共5页1 2 3 4 5 ... 下一页 尾页
    编程技术学习交流群 :154514123
    微信
    个人资料
    • 访问:514368次
    • 积分:7690
    • 等级:
    • 排名:第2888名
    • 原创:304篇
    • 转载:34篇
    • 译文:2篇
    • 评论:102条
    最新评论