Informatica助力上海煤炭交易所实现多元数据整合

Informatica的解决方案在业界有口皆碑，真正能够做到数据的集成共享，在数据处理上表现出色，降低了管理和维护的成本，提高了效率，而且能够扩展，为煤交所的业务发展提供了有力支撑。

                                                                                                                                      ——上海煤炭交易所有限公司副总裁周欣晟

 

上海煤炭交易所有限公司采用Informatica ETL数据集成工具PowerCenter建立了统一的数据管理平台，可以将公司业务数据统一采集、抽取和清洗。通过搭建数据集成平台后，再建设统一报表平台，产出行业分析报告，充分挖掘各业务系统的数据资源价值，从而促进业务的发展及创新。

 

业务需求

• 原有的数据处理能力处于半人工操作水平，需要更加自动化，提高数据处理效率，降低对人工的依赖。
• 希望建立统一的数据采集、存储、共享平台，实现数据系统化治理，为进一步数据挖掘和数据分析做好数据准备。

数据挑战

• 信息孤岛：大量彼此独立的业务系统，异构的数据源，尚未有统一的数据架构设计。  
• 数据不可控：自编存储过程工作量大，维护成本高， 并且数据抽取效率低，整个数据环境都不具备应对大批量或者说海量数据的统计分析能力。
• 手工调度：零散的数据管理方式使数据调度效率较低，尚处于被动数据质量管理阶段。

产品方案

• Informatica PowerCenter

客户收益

• 自动化数据处理流程提升数据抽取效率，为进一步通过数据深度挖掘来指导业务发展、提供决策支持打下基础。
• 降低了运维成本，减少对人力的依赖，大大降低管理成本和运维成本，几乎不需要人工维护。
• 构建起一个有效的数据管理平台，促进各系统业务联动发展和创新。当不同业务部门需要数据及服务时，可以随取随用，简化和规范了数据管理流程，进一步提升企业的数据治理水平。

 

上海煤炭交易所（以下统称“煤交所”）是我国唯一一家国家级煤炭交易所，它以推进煤炭交易全面市场化为己任，应用现代信息技术和互联网思维，搭建合规、方便、有序的交易平台，全面服务煤炭市场，为国家实现“供给侧改革”目标做出贡献。

目前，煤交所具有煤炭物流、在线交易、征信服务、大数据服务等业务。一方面，煤交所开展传统交易所的业务，搭建了大宗商品交易平台；另一方面，煤交所也有配套的产业服务，包括融资服务等；此外，作为一个交易所，大量的交易数据不断产生，同时借助合作伙伴提供的产业经济运行数据，煤交所也基于对各类数据的分析，开展了产业经济的研究、评估服务，并可对产业经济的发展提供预测。

随着业务的发展，煤交所内外部的结构化数据、非结构化数据激增。数据来源多样且复杂，既有来自内部不同系统、不同类型的业务交易数据，也有来自外部合作伙伴的行业数据，以及互联网上的公开数据等。有确定性的宏观统计数据，也有合同、订单等非常具体的微观数据；同时还有区域价格指数等微观与中观相结合的不确定性数据；在遇到客户有定制化的数据统计、专项研究需求时，对于数据的要求就更加复杂。

可以说，数据来源多元、数据结构多样、数据需求复杂是煤交所数据管理现状，加上煤交所没有统一的数据管理平台，各系统数据应用逻辑上相互隔离，各自独立，系统之间的数据交互工具也是多种多样，需要手工编写数据调用、统计、分析脚本，非常依赖人工维护，尤其在发生人员变动时，数据管理就会存在缺口。

因此，煤交所迫切需要性能好、效率高的ETL工具，去提升数据抽取、转换和加载性能，搭建起统一的数据管理平台，高效满足现有数据管理需求，同时为下一步的大数据应用打下良好的基础，进而更好地为业务服务。

 

通过PowerCenter实现多元化数据整合

煤交所采用Informatica ETL数据集成工具PowerCenter实现了业务数据在此统一采集、抽取和清洗，消除了信息孤岛，实现了数据共享。整个过程完全自动化，只需少量的运维工作，在节省人力成本的同时，确保了数据管理的连续性不会因为人员变动而产生影响。

在数据环境复杂、多样的环境下，作为一个核心数据整合引擎，Informatica PowerCenter提供了广泛的跨平台覆盖能力，包括元数据管理、调度管理、安全管理与监控、异常管理等，可以快速响应和部署，实现了数据的统一管理和分析，提高了数据处理的效率和准确性，实现可控的数据管理和维护。

Informatica产品能够对各系统之间的数据进行梳理、集成与整合，实现了跨系统的数据采集，降低了数据抽取的复杂性。该数据管理平台可支持各种主要数据库类型，从SQLServer、Oracle到网上数据，PowerCenter支持多种格式的数据源，适用于煤交所的结构化和非结构化数据的处理和管理，并把这些不同来源、格式、特点性质的数据有机整合起来，解决了煤交所数据环境多样性的难题。

通过提供数据整合服务，Informatica PowerCenter实现了完整跨平台、跨系统的数据统一集中管理。现在，各种取数和报表不需要到业务系统数据库中直接抽取，生成复杂报表的时间大为缩减。同时，统一的数据平台对于报表制作人员来说，不再需要了解各个业务系统的数据结构，借助图形化的界面，通过拖拽就能实现场景化应用，降低了使用门槛。

此外，PowerCenter是一个分布式、可扩展的平台，可以实现与现有业务系统的集成，独立性强，即使面对最为复杂的数据环境也能及时、准确、经济有效地完成数据共享任务，完全保证了业务连续性。

 

数据治理分两步走

通过引入PowerCenter数据集成平台，煤交所实现了数据的统一集中管理，让数据管理流程更加稳定和常态化，为未来的数据治理打下良好基础。在煤交所看来，数据治理是每个企业都要做的工作，一般来说，数据治理可以分两步走：首先是确保数据管理工作的正常运转，提高效率的同时降低成本；其次要规范数据管理流程，减少信息泄露等风险，整体上提升数据治理能力。

 

 

通过Informatica PowerCenter，煤交所在三个层次都有所受益：首先，是在效率上的提升，自动化数据处理流程大大提升数据抽取效率，为进一步通过数据深度挖掘来指导业务发展、提供决策支持打下基础；其次，降低了运维成本，减少了对人力的依赖，大大降低管理成本和运维成本，几乎不需要人工维护；最后，构建起一个有效的数据管理平台，促进各系统业务联动发展和创新。当不同业务部门需要数据及服务时，可以随取随用，简化和规范了数据管理流程，进一步提升企业的数据治理水平。