两级分布式数据中心的设计和实现

两级分布式数据中心的设计和实现

随着数据库技术的发展和主机运算能力的提高，目前数据库管理系统可以管理的数据库规模越来越大，数据量高达几百GB甚至TB以上。

　　随着数据库技术的发展和主机运算能力的提高，目前数据库管理系统可以管理的数据库规模越来越大，数据量高达几百GB甚至TB以上。为方便数据管理和数据分析、挖掘、利用，企业及政府部门越来越倾向于构建大型数据中心，实现数据大集中，但数据大集中对系统高可用性，系统容灾，网络运行提出了极高的要求，需要较高的建设成本，同时也隐含较大的系统风险。如何既能充分享有数据集中的好处，又相对缓解数据中心系统风险，降低运行维护成本，是很多单位面临的课题。

　　1 山东工商数据中心建设需求及问题

　　山东省工商行政管理局承担着依法确认各类市场主体资格，对市场主体实行监督管理，保护公平竞争，维护市场经济秩序的重要职责。为适应社会经济的快速发展及工商行政管理改革创新需要，需要对各类工商业务系统进行整合，克服工商系统内部各部门之间及上下级之间业务独立，信息交流不畅的弊病，实现工商系统内部横向及纵向的业务联动，实现对市场主体全方位动态监管。为此，建立全省统一的业务系统和数据中心，实现工商基础数据的集中和规范是一条必由之路。

　　将全省数据集中到省局，全省各级工商部门通过网络联接到省局数据中心进行联机事务处理是一种比较理想的方案。但是，该方案面临以下问题：

　　(1)山东工商“金管工程”二期建设实现了省、市、县、所四级联网，采用统一的网络标准，实行分级建设和运行维护，通信线路从运行商租赁。由于该网络受限于各地运营商的服务质量，同时各地维护能力不平衡，维护力量有限，难以满足全省集中、实时访问省局单一数据中心的需求。

　　(2)全省集中的联机处理数据库压力极大，一旦出现故障，必然造成全系统业务停顿，系统运行风险高，难以承受。

　　(3)全省集中的联机处理数据中心由于地位非常关键，需要较高的运算能力和高可用的主机系统，采取完备的系统容灾和备份措施，对运行环境及维护能力要求太高，一次性费用投入太高。

　　2 两级分布式数据中心设计

　　为缓解联机处理业务全省集中的系统风险和矛盾，山东工商采取了两级分布式数据中心解决方案，即在市局建立数据运行中心，在省局建立数据处理中心。市局数据运行中心主要负责全市各项业务的联机处理，全市各级工商业务人员通过部署在市局的J2EE应用服务器直接连接到数据运行中心办理各项工商业务，日常业务产生的数据实时入库。省局数据处理中心按照统一标准汇总全省业务数据，主要提供数据挖掘分析，检索服务，数据共享，决策支持等，为各级政府部门和社会公众提供基础数据和决策支持服务。数据运行中心的数据在统一标准体系和安全管理体系的支持下，采取每日同步的方式汇总到省局数据处理中心的中心数据库(ODS)。数据中心总体框架如图1所示。

　　3 数据同步设计

　　数据同步设计的重点在于市局数据运行中心向省局数据处理中心的数据汇总功能，即如何将全省各市局日常业务处理产生的大量基础数据汇总到省局，如何在省、市间骨干线路带宽有限(2M)的条件下，既要保证省市两级数据中心的一致性、完整性，又要满足一定的实时性要求，同时能够方便管理，运行可靠。

　　考虑到省市两级数据中心都采用了统一的OR—ACLE9i数据库管理系统，各市局采用统一的业务系统，具有相同的数据库结构，设计了基于DML触发器的增量数据同步方案。DML触发器是一种特殊类型的存储过程，它在插人、删除或修改特定表中数据时起作用。触发器

　　的主要特点在于，不管何种原因造成数据变化，它均能够自动响应。当针对某特定表的insert，update或delete语句执行时，用户所定义的过程被隐含执行。DML触发器当insert，update或delete语句执行时，由数据库系统点火。

　　数据增量同步设计的思路是通过DML触发器捕获和记录市局数据运行中心哪些记录发生了变化，然后在省局数据处理中心数据库中做相应的变化，就可以实现数据更新同步，使数据处理中心的数据和数据运行中心的数据保持一致。

　　4 数据同步实现

　　数据运行中心作为各市局业务的联机处理数据库，其数据每天都在发生变动，数据同步的关键是将数据的实时变动记录下来。数据处理中心提取每个数据运行中心的数据变动记录，定期(每天晚上)在数据处理中心数据库“重做”，达到汇总各数据运行中心增量数据的目的，从而完成同步更新。