使用SSIS进行数据清洗

简介

%26#160;%26#160;%26#160; OLTP系统的后端关系数据库用于存储不同种类的数据，理论上来讲，数据库中每一列的值都有其所代表的特定含义，数据也应该在存入数据库之前进行规范化处理，比如说“age”列，用于存储人的年龄，设置的数据类型为INT类型。存入数据库的值是2000虽然看起来没有任何问题，但结合业务规则，这样的”Noisy”数据在数据分析过程中就会造成数据分析的结果严重失真，比如极大的拉高平均年龄。在真实的OLTP系统中，这类不该存在的数据往往会由于各种各样的原因大量存在，类似这种类型的数据都会在数据进入数据仓库之前，在预处理阶段进行清洗。

%26#160;%26#160;%26#160; 上面举出的简单例子仅仅是一个违反业务规则的情况，但实际的情况会根据具体业务的不同而不同，并不是一个简单统一的过程就能够解决，文本列举了一些典型的需要数据清洗的场景和SSIS中的实现方式。

为什么不使用SQL语句进行处理？

%26#160;%26#160;%26#160; 使用SQL语句来查询和处理这类问题是可行的，但使用SQL语句有其局限性，例如：

• 假如数据源不是关系数据库呢？
• 假如业务逻辑非常复杂，需要非常复杂的SQL语句呢，处理过程中的调试、日志如何处理？

%26#160;%26#160;%26#160; 使用SSIS可以很好的解决上述问题，SSIS提供了基于图的数据流，并在处理过程中提供了调试、日志、查看转换中的数据的能力，并且SSIS包相较于SQL更适合于团队作业。

%26#160;

使用SSIS进行数据清洗

%26#160;%26#160;%26#160; 下面是一些典型的数据清理作业，使用SSIS进行处理。

%26#160;

缺失默认值

%26#160;%26#160;%26#160; 缺失默认值是最常见的一种需要数据清洗的一种情况，缺失默认值指的是数据库列中的值为“NULL”，而在数据分析中，该类为NULL的数据需要替换中符合业务逻辑的值，比如NULL出现在销售地区列可以替换成“其他”，出现在销售数据列可以替换成“未知”等。

%26#160;%26#160;%26#160; 在SSIS中我们可以通过“派生列”任务来为缺失默认值的列添加默认值，本例中我们对Adventureworks示例数据库的Person.Address数据