SQL Server Integration Service(SSIS)扩展开发自定义组件解决无效时间问题

1. 问题分析

1.1             验证环境

VS2005 TS SP1

SQL 2005 SP2 BI Studio

某企业客户提供的异常数据

1.2             问题场景

在某企业客户目前Informix数据当中存在很多小于1753-01-01的无效数据，而由于SQL 2005的DateTime 数据类型的数据域是从 1753 年 1 月 1 日到 9999 年 12 月 31 日,会导致从Informix通过SSIS向SQL Server写入数据时出错。

 

1.3             解决思路

根据对问题的具体分析，给出以下几种解决办法：

1．从数据源清理根除无效数据；

       2．通过将目标数据表的数据类型设置成整型或字符型解决；

       3．通过编写包含IF逻辑判断子句的SQL语句解决；

       4．通过SSIS扩展脚本组件编写逻辑代码块解决；

       5．通过SSIS扩展开发可视化数据流组件来解决；

 

经过与某企业客户技术人员的讨论，决定采用对系统影响最小，不需改动数据库和SQL代码，不需编写逻辑代码块的第5种方式来解决，即开发SSIS扩展可视化数据流组件。

 

 

2. 解决步骤

2.1             组件安装

1．拷贝DateTimeLimiter.dll到

C:/Program Files/Microsoft SQL Server/90/DTS/PipelineComponents

注：文件夹位置可能会因SQL安装位置而不同；

2．打开Visual Studio 2005 命令提示工具，输入：

gacutil.exe -iF "c:/Program Files/Microsoft Sql Server/90/DTS/PipelineComponents/DateTimeLimiter.dll"

3．打开SQL Server 2005 SSIS项目，选择并打开数据流任务

       从左侧工具栏中“选择项”对话框中选取“SSIS数据流项”中的时间转换组件(如图)

2.2             组件使用

1．从数据流转换栏目中找到“时间转换”组件，并拖拽到数据流任务中

2．使用方式与数据转换类似，可在数据源和数据目标之间完成日期数据项的1753问题修复

2.3             运行结果验证

测试对比结果：

 

未使用时间转换组件时：

1753-1-1,1.0,A,湖滨南路五龙大厦龙启阁603室,0.0

1753-2-1,2.0,O,?0.0

1979-7-12,3.0,T,2227826 8800681,0.0

1752-1-1,4.0,C,湖滨南路五龙大厦龙启阁603室,0.0

1752-12-31,5.0,H,2227826 8800681,0.0

使用时间转换组件后：

1753-1-1, 1.0,A,湖滨南路五龙大厦龙启阁603室,0.0

1753-2-1, 2.0,O,?0.0

1979-7-12, 3.0,T,2227826 8800681,0.0

1753-1-1, 4.0,C,湖滨南路五龙大厦龙启阁603室,0.0

1753-1-1, 5.0,H,2227826 8800681,0.0