数据整合的魅力——大唐电信ODS

前言
　　在各电信运营商建设了大量的业务系统之后，将原先集中的几套大系统分拆成了不同专业、不同受众的独立系统，人们突然发觉原先相对简单的数据变得很复杂。它们分散分布在不同的业务系统、不同的网络硬件平台上，同一个客户竟然在不同的系统中信息完全不一致，如果想看到某个大客户到底使用了企业的什么业务，每个月为我们带来多少收入，会蓦然发现，这些数据不得不从CRM系统、计费系统、小灵通业务管理系统等多个源头追溯和汇总。用户数的稳步增加、业务使用量的大幅提升，物质的极大丰富给运营商带来的不仅是兴奋，还有很多的困惑和无奈，这些都警示我们，电信企业的业务运营需要一个先进、合理的IT系统架构进行支撑。
　　在当前大多数电信运营商企业中，IT系统架构围绕核心的业务运营支撑，按照业务、运维和管理分成了三大应用域，其中又根据业务管理的应用和数据范围，划分成林林总总的、独立的业务系统。譬如，业务域中的CRM系统、计费帐务系统、结算系统等，运维域中的业务开通系统、网络管理、资源管理系统等，以及管理域中的财务管理、人力资源管理系统等等。但是，这样的架构较难支持多系统间的数据共享，企业的标准统一的业务概念也很难系统化地落实到系统实现上。由此而带来的业务问题也是众多的，包括企业以客户为中心的转型策略因没有统一的客户视图而受到阻碍，营销、销售和服务流程中渠道人员因无法获得第一手的客户数、业务量、收入的变化情况而无法选择目标客户、优化业务流程，管理决策层因无法全面了解一个多角色员工的全面工作情况而难于对他的业绩进行客观的评价。所有这些都表明，企业需要一个横向的业务支撑架构，这就是企业数据的集中统一存储和跨系统应用——ODS（Operational Data Store，运营数据存储）。

ODS的起源和发展
　　ODS概念的提出者是数据仓库大师Bill Inmon，他对ODS的定义是“一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求”。Bill Inmon认为，业务应用环境中的数据经过转换和整合进入ODS，提供了一种全局的、集成的和即时的企业操作视图，能够支持企业及时性的决策需求，同时，能够在分散的业务系统和支撑决策分析的数据仓库之间构建一个缓冲，使得数据之间的转换变得相对简单和可控。ODS系统最主要的功效是将多个业务系统中分散的数据进行了初步的集成、清洗和转换，因此，后续ODS由于数据整合的特性逐步得到了发展，被用于进行数据整合、数据共享、数据质量、数据管控等问题的重要解决方案中。ODS在国际和国内的金融行业、政府行业有较多的应用案例。电信行业中ODS的应用需求，是随着关键业务系统基本建设完成，对数据分析和开发再利用的需要而衍生和发展的，中国电信集团《CTG-MBOSS EDA-ODS：总体规范》、《CTG-MBOSS EDA-ODS：技术规范》的发布，奏响了国内电信企业基于ODS平台进行数据整合和信息共享的篇章。

ODS相关技术
ODS的主要功能特征如下：
● 数据整合功能是ODS的核心所在。通过ETL、EAI等技术准实时或实时地从各业务系统中抽取企业运营数据，进行转换、加载、映射等工作形成ODS的核心数据，为用户提供企业级的统一数据视图。
●基于ODS核心数据的数据质量管理功能，实现企业数据质量检查、质量问题交付、质量评估等功能，与企业内完善的组织机构、业务流程和各业务系统配合形成企业数据质量修正的闭环。
●基于数据整合所形成的统一数据视图提供数据共享功能，通过集中的数据/服务提供功能，为各业务系统提供非自有数据的共享。ODS系统数据共享功能有助于优化目前各业务系统间网状的数据流转方式，简化数据共享逻辑，降低数据不一致的风险。
●数据应用功能，ODS系统能够利用整合及汇总后的数据直接对外提供查询类、统计分析类以及计算类等需要跨系统数据支持的数据应用。
ODS系统具有如下明显的技术特征：
● 由于ODS介于企业IT架构中的操作环境（由各种业务系统组成）和分析环境（由企业数据仓库和各种分析应用组成）之间，既承担了数据整合所需的大批量数据获取和准实时数据同步更新功能，又承担了客户统一视图查询、营销活动监控等准实时的多维汇总分析功能。因此需要兼顾实时数据更新类的OLTP技术，以及高性能联机分析的OLAP技术。
● ODS是以数据为中心的系统，ODS系统的核心数据模型是数据整合、数据共享等功能要求的三范式企业信息模型。同时也需要提供满足查询、报表应用所需的宽表结构、星型结构等模型。其中，企业信息模型是企业所有核心数据和相互关系的统一全局视图，它能够统一业务层面的概念，帮助企业统一规划、规范管理企业数据。
●ODS系统支持数据质量管理流程的定制，通过数据质量管理流程闭环，可以为ODS流程安排一系列质量检查和质量控制点。从而实现对数据质量问题的发现、分析、改进、确认、控制与预防等一系列持续改进过程。
●元数据是描述数据的数据，分为各种业务元数据和技术元数据。ODS通过元数据管理技术，集中存储、管理和分析ODS系统的数据字典、数据整合过程中数据转换逻辑以及统计指标定义等技术和业务层面的元数据，为各类ODS涉众（Stakeholders）正确理解和操作数据提供有力支持。 

大唐电信全面的ODS解决方案
大唐电信ODS系统的定位
　　大唐电信ODS产品定位于为电信企业提供一个企业运营数据共享平台，它收敛企业各业务系统中的运营数据，按照企业信息模型进行数据整合，形成企业统一数据视图，提供运营数据共享，支撑跨系统数据的应用，并且进行数据质量管理。
　　大唐电信ODS产品能够提供企业全局信息的统一、一致的访问界面，支持企业对客户、市场全面深入的洞察，支撑实现企业不同部门在售前、售中、售后等环节上的业务协同，从而满足电信企业在业务经营和精确管理方面对高质量、高时效信息共享的迫切需求。ODS产品能够广泛地适用于各电信运营企业，作为企业IT架构的重要组成部分，为企业信息共享、数据质量提升和跨系统数据应用等需求提供了统一、高效、高质量的解决方案。

大唐电信ODS系统的技术架构

 

大唐电信ODS系统的功能架构
 

 

大唐电信ODS系统的产品特点
★构件化设计
系统采用J2EE技术架构构建，系统平台具有平台无关性、安全性和可靠性。各项服务采用组件化设计与实现，遵循松耦合、高内聚的原则，综合考虑系统部署、维护和管理方面的要求，合理确定构件粒度。系统具有多进程、多线程的批处理能力，能够使构件进行多实例运行，方便系统纵向和横向的扩展。
★ 强大的数据整合平台
结合大唐电信的专业数据整合技术和商业数据整合工具，大唐电信ODS对各复杂源系统的数据提供了系统化、图形化的数据整合处理。提高了数据的开发及时性、整合准确性、运行高效性与维护方便性。
★卓越的数据质量管理系统
大唐电信ODS数据质量管理系统(DataJuran)是在电信运营商质量管理规范的基础上，结合6 西格玛质量管理方法，所构建的一套卓越的、闭环数据质量管理系统。DataJuran重点是将所有的ODS和BSS工作作为一种流程，采用量化的方法分析流程中影响质量的因素，找出最关键的因素加以改进从而达到更高的客户满意度。
★灵活、实用的元数据管理系统
大唐电信ODS元数据管理系统具有元数据类型可扩展、可定制、个性化、可重用的特点，支持建立技术元数据模型、业务元数据模型、逻辑元数据模型、企业元数据标准模型等；能对元数据关系进行有效维护（可以进行跨模型、跨系统管理）；支持元数据的血缘分析与影响分析，包括展现影响数据变化的元数据原因分析，以及展现数据变化影响的元数据结果分析。
★ 丰富的数据应用与数据共享
大唐电信ODS系统提供了丰富的数据共享和数据应用功能，包括：向112、114等系统按日批量提供客户变更资料；采用数据服务提供的方式为CRM、网上营业厅等系统提供客户视图信息；提供客户统一视图动态查询支撑渠道人员的客户管理应用；集中提供各种生产运营方面的报表以减轻业务系统生产压力；承担市场计划监控评估、营销过程跟踪监控、渠道经理绩效考核等动态统计分析和计算功能，为企业精细化营销和精确化管理提供支撑；等等。