1.6 数据流元素

最新推荐文章于 2024-11-01 10:56:34 发布

Johe_08

最新推荐文章于 2024-11-01 10:56:34 发布

阅读量883

点赞数

分类专栏： SQLServer_Integration Services 文章标签： sql server ssis excel 数据挖掘 transformation processing

SQLServer_Integration Services 专栏收录该内容

77 篇文章 0 订阅

订阅专栏

1.6 数据流元素

一旦创建了一个Data Flow任务，它将会生成新的数据流。正如Controller Flow（控制器流）负责处理程序包的主工作流那样，数据流负责处理数据的转换。几乎所有能够操作数据的组件都可以归类到数据流类别。当数据在数据流中的每一步中流动时，数据将根据所进行的转换内容而发生变化。如图1-7所示，使用派生列转换后将生成一个新的列，然后这个新列对于后续的转换或者目的地都可用。

文本框:
图 1-7 在本节中将简短讨论每种数据源、目的地以及转换。在第3、4章将对本节内容进行更详细的介绍。

1.6.1 源

源（source）是用户所指定的源数据位置，数据从源被拉到数据泵中。源通常指向SSIS中的Connection Manager（连接管理器）。通过指向连接管理器，用户可以在整个程序包中重用连接，因为只需要在一个位置修改连接即可。在SSIS中，一共有6种可以使用的源。

● OLE DB源（OLE DB source）：连接到几乎所有的OLE DB数据源，例如SQL Server、Access、Oracle或DB2，等等。

● Excel源（Excel Source）：专门负责接收来自Excel电子表格数据的源。这种源也可以使得运行针对Excel电子表格的SQL查询更为容易，以限制希望通过数据流的数据范围。

● 平面文件源（Flat File Source）：连接到定界的或固定宽度的文件。

● 原始文件源（Raw File source）：一种由原始文件目的地（Raw File Destination）所创建的专门文件格式。原始文件源通常表示传输过程中的数据，而且读取非常快捷。

● XML源（XML source）：可以获取来自XML文档的数据。

● DataReader源（DataReader source）：DataReader源是一个ADO.NET连接，非常类似于在自己的应用程序代码中使用DataReader接口连接到数据库时在.NET Framework中所看到的连接。

1.6.2 目的地

在数据流中，目的地接收来自数据源和来自转换过程的数据。SSIS的灵活体系结构可以发送数据到几乎任何OLE DB兼容的数据源或者到某个平面文件。和源一样，目的地是通过连接管理器来管理的。在SSIS中，可以使用以下类型的目的地：

● 数据挖掘模型培训（Data Mining Model Training）：这种目的地通过将来自数据流的数据传递到目的地来培训某个分析服务（Analysis Services）挖掘模型。

● DataReader目的地（DataReader Destination）：允许将数据提交给其他的外部进程，例如报告服务（Reporting Services）或自己的.NET应用程序。该目的地使用ADO.NET DataReader接口来完成这一工作。

● 维度处理（Dimension Processing）：加载并处理某个分析服务维度。它可以执行维度的完全更新或增量更新。

● Excel目的地（Excel destination）：将来自数据流的数据输出到某个Excel电子表格。

● 平面文件目的地（Flat File destination）：使得用户可以将数据写入到某个定界或固定宽度的文件。

● OLE DB目的地（OLE DB destination）：将数据输出到某个OLE DB数据连接，例如SQL Server、Oracle或Access。

● 分区处理（Partition Processing）：使得用户可以执行分析服务分区的增量更新或完全更新处理过程。

● 原始文件目的地（Raw File Destination）：这种目的地负责输出稍后可以用于原始文件源的数据。这是一种非常专业化的格式，而且输出非常快捷。

● 记录集目的地（Recordset Destination）：将记录写入到ADO记录集。

● SQL Server目的地（SQL Server Destination）：使用这种目的地可以最有效地将数据写入到SQLServer。

● SQL Server移动目的地（SQL Server Mobile Destination）：将数据插入到运行于掌上电脑（Pocket PC）上的SQL Server。

1.6.3 转换

转换（transformation）是数据流的关键组件，负责将数据转变为所希望的格式。例如，用户可能希望对数据进行排序或聚合。可以使用两种转换来完成这一任务。在SSIS中，有关转换的最大好处是所有过程都是在内存中完成的，而且不再需要像SQL Server 2000 DTS中所必须进行的精心脚本编程。在第4章和第6章将详细讨论转换。以下是SSIS中可用的完整转换列表：

● 聚合（Aggregate）：聚合来自转换过程或源的数据。

● 审核（Audit）：这种转换负责将审核信息提供给程序包。这些审核信息包括诸如软件何时运行以及由谁所运行之类的信息。

● 字符映射表（Character Map）：这种转换可以进行字符数据转换，例如将数据从小写转换为大写。

● 条件拆分（Conditional Split）：根据所符合的特定条件来拆分数据。例如，这种转换可以设置为当State（州）列等于Florida（佛罗里达）时沿不同的路径发送数据。

● 复制列（Copy Column）：将某个列的副本加入到转换输出。稍后可以对副本进行转换，而保留原始数据用于审核。

● 数据变换（Data Conversion）：将某列的数据类型变换为其他的数据类型。

● 数据挖掘查询（Data Mining Query）：执行针对分析服务的数据挖掘查询。

● 派生列（Derived column）：创建一个根据表达式所计算得到的新派生列。

● 导出列（Export Column）：这种转换允许用户将列从数据流导出到某个文件。例如，可以使用这种转换将某个包含图像的列写入到文件。

● 模糊分组（Fuzzy Grouping）：通过查找可能重复的行来清理数据。

● 模糊查询（Fuzzy Lookup）：根据模糊逻辑来匹配并标准化数据。例如，该转换可以将名称jon转换为john。

● 导入列（Import Column）：从文件读取数据并把它加入到某个数据流。