1.可以实现异地的同构(可扩展)数据库的数据抽取。
2.由于考虑到地市局不能通过JDBC直连省局数据库,所以我们这里采用WEB SERVICE来绕过省局的防火墙,从而通过返回的SOAP信息的解析正确执行数据抽取操作。
3.由于考虑到数据源不一定是数据库,也可能是XML文件,所以我们的系统提供XML文件为数据源的数据抽取操作,但此XML文件必须遵循一定的格式。
4.由于考虑到数据抽取过程中可能会遇到记录重复的记录,我们这里采用重复的记录可以略过或者更新,同时这些设置都可以在data.xml可配置,但要指出的是如果需要更新重复的记录,则必须定义目的表的关键字列表,同时抽取操作将大大减慢速度,所以除非有必要,要不然,请不要这么做。
5.由于考虑到有的抽取操作必须定时定点执行,而且在一定的周期下,重复执行抽取操作,所以系统也提供了可配置的这种需求的实现。
6.由于考虑到少数情况下的大的数据量的抽取操作,而ORACLE本身提供的JDBC驱动不能执行有效的数据抽取操作,所以我们这里采用INET的JDBC驱动来执行数据抽取操作,这在数据源的定义中,可配置。
7.由于考虑到有的复杂的数据抽取操作并不能简单的以语句集来实现,所以我们的系统提供自己编写复杂类,然后把该类加入到包中,然后经过配置就可以执行该复杂类,但需要指出的是该复杂类必须继承自,具体的可供的函数请查看我们给出的JAVADOC文档
在我的另一篇博文中有该源代码和工具的下载地址:[url]http://cxlh.iteye.com/blog/243132[/url]
2.由于考虑到地市局不能通过JDBC直连省局数据库,所以我们这里采用WEB SERVICE来绕过省局的防火墙,从而通过返回的SOAP信息的解析正确执行数据抽取操作。
3.由于考虑到数据源不一定是数据库,也可能是XML文件,所以我们的系统提供XML文件为数据源的数据抽取操作,但此XML文件必须遵循一定的格式。
4.由于考虑到数据抽取过程中可能会遇到记录重复的记录,我们这里采用重复的记录可以略过或者更新,同时这些设置都可以在data.xml可配置,但要指出的是如果需要更新重复的记录,则必须定义目的表的关键字列表,同时抽取操作将大大减慢速度,所以除非有必要,要不然,请不要这么做。
5.由于考虑到有的抽取操作必须定时定点执行,而且在一定的周期下,重复执行抽取操作,所以系统也提供了可配置的这种需求的实现。
6.由于考虑到少数情况下的大的数据量的抽取操作,而ORACLE本身提供的JDBC驱动不能执行有效的数据抽取操作,所以我们这里采用INET的JDBC驱动来执行数据抽取操作,这在数据源的定义中,可配置。
7.由于考虑到有的复杂的数据抽取操作并不能简单的以语句集来实现,所以我们的系统提供自己编写复杂类,然后把该类加入到包中,然后经过配置就可以执行该复杂类,但需要指出的是该复杂类必须继承自,具体的可供的函数请查看我们给出的JAVADOC文档
在我的另一篇博文中有该源代码和工具的下载地址:[url]http://cxlh.iteye.com/blog/243132[/url]