数仓建设生命周期_数据仓库信息生命周期管理的应用

数据仓库信息生命周期管理的应用

中国建设银行股份有限公司信息技术管理部厦门开发中心

赵世辉

刘浩

郑承满

【摘

要】

@@

随着

IT

技术的发展

,

越来越多的企业建立了数据仓库系统来管理

数据并挖掘信息的价值

.

经过多年的数据积累

,

数据仓库系统中可能保存了

TB

的数据

.

为了使这些数据财富发挥其应有价值

,

首先要解决数据存放和访问的问题

.

如果处理不好极有可能出现下列状况

:

系统管理员每日劳碌于数据的分类、迁移、

归档、备份及恢复等工作

;

日常备份数据量太大影响系统的正常运行

;

【期刊名称】

中国金融电脑

【年

(

),

期】

2010(000)005

【总页数】

5

随着

IT

技术的发展,越来越多的企业建立了数据仓库系统来管理数据并挖掘信

息的价值。经过多年的数据积累,数据仓库系统中可能保存了

TB

级的数据。

为了使这些数据财富发挥其应有价值,首先要解决数据存放和访问的问题。如

果处理不好极有可能出现下列状况:系统管理员每日劳碌于数据的分类、迁移、

归档、备份及恢复等工作;日常备份数据量太大影响系统的正常运行;关键数

据因被归档而无法及时提供,遭到客户的抱怨或投诉;访问频率低的数据占用

大量在线存储,遭到管理部门的质疑。

为了解决这些问题,可采用信息生命周期管理(

ILM

Information

Lifecycle

Management

)的理念进行数据仓库系统建设。

ILM

不仅是一种软硬件实施方

法论,而且是一种结合了人员、流程和技术,旨在有效管理数据和信息的战略,

也可以说是一种针对信息主动管理的过程策略。

中国建设银行数据仓库系统(以下简称“系统”)经过

3

年多的建设,目前已

数据治理-数据⽣命周期管理-⼤数据整合 批量数据的整合 传统的数据整合⼀般采⽤ETL⽅式,即抽取(Elect)、转换(Transfer)、加载(Load),随着数据量的加⼤,以及数据平台⾃⾝数据处理 技术的发展,⽬前较为通⽤的⽅式为ELT模式,即抽取、加载、转换。 1. 数据抽取 业务类系统或流程类系统负责数据的采集,但哪些数据需要整合到数据平台,则需要根据数据应⽤的需求进⾏定义。在进⾏数据抽取 和加载之前,需要定义数据源系统与数据平台之间的接⼝,形成数据平台的接⼊模型⽂档。 数据的抽取会涉及安全与隐私问题,在进⾏抽取数据的调研时,也会涉及授权问题,源系统的数据结构,以及每张报表每个字段的业 务含义的明确,样本数据的采集,都需要得到相应系统的所属部门的授权。在进⾏数据抽取之前,需要最后的授权。 源系统的数据分析是数据整合最为关键和重要的⼀步,需要确认源系统中的数据结构、数据含义,与⽂档及业务⼈员理解的是否⼀ 致,是否存在偏差。同时,也需要对源系统数据的数据质量进⾏分析,了解数据质量状况,并出具数据质量分析报告。通过上述两种分析, 能够识别出数据现状与业务期望之间的差别,该差别应反馈给需求提出⽅,需求提出⽅应根据数据的状况,调整需求和业务期望 从源系统中抽取数据⼀般分为两种模式:抽取模式和供数模式。从技术实现⾓度来将,抽取模式是较优的。即由数据平台通过⼀定的 ⼯具来抽取源系统的数据,但是从项⽬⾓度来讲,建议采⽤源系统供数模式,因为抽取数据对源系统的影响,如果都有数据平台项⽬来负 责,有可能导致以下后果:源系统出现的任何性能问题都可以推诿到数据平台戳去⼯作上;源系统发⽣数据结构的变更后不通知数据平台项 ⽬,导致抽取出错;源系统不对数据质量负责,要求数据平台项⽬负责。以上的三种情况会对数据平台项⽬带来重⼤的风险,最终导致数据 平台项⽬失败。 2. 数据加载 传统的数据平台建设在完成数据抽取后,⼀般由ETL⼯具进⾏数据转换,即将数据结构模型转换为数据平台的数据结构模型,⼤数据 并⾏技术出现后,数据库的计算能⼒⼤⼤加强,⼀般都采⽤先加载后转换的⽅式。 数据在加载过程中,应该对愿数据进⾏数据⽐对。以确保抽取加载过程中的数据⼀致性,同时设置⼀些基本的数据校验规则。对于不 符合数据校验规则的数据,应该退回源系统,由源系统修正后重新供出。通过这样的⽅式,能够有效地保证加载后的数据质量,在完成数据 加载后,系统能够⾃动⽣成数据加载报告,报告本次加载的情况,并说明加载过程中的源系统的数据质量问题。 在数据加载过程中,还需要注意数据版本管理,传统的数据仓库类平台需要保留不同时间点的历史数据,⼀般采⽤数据戳⽅式,⼤数 据类应⽤,也建议采⽤这种⽅式,⽬前,⼤数据平台在数据库结构中⾃带版本管理功能,如果得到有效的利⽤,将⼤⼤地减少开发⼯作量, 并提升系统的效率。 3. 数据转换 数据转换分为四种类型:简单映射、数据转换、计算补齐、规范化。 简单映射:就是在源和⽬标之间⼀致地定义和格式化每个字段,只需在源和⽬标之间进⾏映射,就能把源系统的特定字段复制到⽬标表的特 定字段。 数据转换:即将源系统的值转换为⽬标系统中的值。最典型的案例就是代码值转换,源端系统中直接以"F","M"来表⽰性别,在⽬标 系统中采⽤"男"和"⼥"来表⽰,这就需要字段转换 计算补齐:在源数据丢失或者缺失的情况下,通过其他数据的计算,经过某种业务规则或者数据质量规则的公式,推算出缺失的值,进⾏数 据的补齐⼯作。 规范化:当数据平台从多个系统中采集数据的时候,会涉及多个系统的数据,不同系统对于数据会有不同的定义,需要将这些数据的定义整 合到统⼀的定义下,遵照统⼀的规范。 4. 数据整合 在数据整合到数据平台之后,需要根据应⽤⽬标进⾏数据的整合,将数据关联起来并提供统⼀的服务。 传统的数据仓库说将数据整合为不同的数据域。针对不同的数据域,建⽴起实体表和维表,基于这些实体表和维表,为不同的应⽤提 供多维分析服务。 为⽀持统⼀的指标运算,⼀些数据仓库也建⽴了统⼀计算层,统⼀对于基于数据仓库上的各类指标进⾏统⼀计算,并提供给各集市进 ⾏展⽰ 为⽀持数据分析与挖掘应⽤,⼀些数据仓库⽣成⾯向客户、⾯向产品、⾯向员⼯的宽表,⽤于进⾏数据挖掘⼯作。 实时数据的整合 ⼤数据的⼀个重要的特点就是速度,⼤数据时代,数据的应⽤者对于数据的时效性也提出了新的要求,企业的管理者希望能够实时地 通过数据看到企业的经营状况;销售⼈员希望能够实时地了解客户的动态,从⽽发现商机快速跟进;电⼦商务⽹站也需要能够快速地识别客 户在⽹上的⾏为,实时地做出产品的推荐。 1. 实时数据的抽取 在实时数据抽取的过程中,需要注意⼀点,就是必须实现业务处理和数据抽取的松耦合。业务系统的主要职责是进⾏业务的处理,数 据采集的过程不能影响业务处理
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值