气象数据中心实战项目C++——六

六、开发数据抽取子系统

        在这一章节中，我们将着重开发数据抽取子系统，其目标是将分散在源端数据库中的数据抽取至数据中心，同时支持按条件抽取和增量抽取两种方法。

主要特点：

1. 源数据库抽取： 从不同主流数据库（如MySQL、Oracle）中抽取数据，并将其转化为可处理的XML文件。

2. 条件抽取和增量抽取： 提供灵活的数据抽取方式，既可以按条件抽取特定数据，也能进行增量抽取，确保数据的实时性和准确性。

3. 数据运算和格式转换： 在抽取过程中，允许对数据进行必要的运算和格式转换，以满足数据中心的需要。

4. 配置参数支持： 通过配置参数，系统能够适应不同类型的数据抽取需求，使得操作变得简单且具有通用性。

开发任务和流程：

1. 设计抽取流程：确定数据从源数据库到数据中心的整体流程，包括抽取、转换、存储等步骤。

2. 源数据库连接：实现与不同类型数据库的连接，使得能够抽取数据。

3. 数据抽取逻辑：根据配置参数和需求，实现按条件抽取和增量抽取的逻辑，保证数据的完整性和准确性。

4. 数据运算和格式转换：根据实际需要，开发能够对数据进行必要运算和格式转换的模块。

5. XML文件生成：将抽取的数据按照XML格式进行组织，使其能够被后续系统处理。

6. 配置参数支持：设计配置参数的接口和管理，确保系统可以适应不同数据抽取需求。

项目价值和难点：

• 价值： 通过开发数据抽取子系统，实现了数据中心的核心功能，使得数据能够从不同源端数据库中被有效、准确地抽取并汇总至数据中心，从而实现数据的共享和整合。

• 难点： 保证数据抽取的高效性、实时性和准确性是难点。此外，需要兼容不同主流数据库，保障数据的一致性。

解决方法：

• 通过优化抽取逻辑和数据传输方式，确保高效性和实时性。

• 实现严格的数据抽取策略，确保数据的准确性和一致性。

创新点：

• 支持多种主流数据库，提高了系统的适用性。

• 同时支持按条件抽取和增量抽取，满足不同的数据需求。

• 通过配置参数的方式，使得系统能够适应各种数据抽取场景，提升了系统的通用性。

 

1、之前为了避免一个xml文件太大，不好处理，设置每个xml文件放置一千条数据，分多个文件存放。

        缺点：每次从数据源抽取数据，如果数据只有几千条，生成几个文件，入库的时候不好处理，不知道生成了多少个文件以及不知道文件到齐了没有。

        优化：生成xml文件的记录数参数化，全部数据放在同一文件下，也可以拆分，增加不切换xml文件的功能，全部数据可以放在同一文件里，也可以选择拆分。

2、增量抽取时，把自增字段的值保存在数据库表中。