什么是适配器?什么是动作?什么是脚本?它们之间有什么关系?
适配器
适配器( Adapter )负责与数据源之间的输入与输出,例如连接数据库、打开文件、LOG或ERROR都是由Adapter负责的 。
数据处理工具通常需要面对多种数据源环境。
例如,当需要将多个业务系统的数据抽取并同步至统一的数据中心时,生产系统的数据库可能是Oracle,财务系统的数据库则可能是SQLServer,人事系统的数据库又可能是DB2。其次,不仅仅是关系型数据库,有时数据源还可能是文件类型,如Excel、XML。
对不同类型数据源的操作方式通常是不同的。
适配器(Adapter)则是封装了对不同数据源的操作。并可在数据处理工具动作中直接调用,从而完成对不同类型数据源的支持。
适配器可为分为:源适配器和目标适配器。
动作
具体执行数据处理、文件处理的操作 。 有很多不同功能的动作,例如 :
1、在数据库中执行一段SQL语句的动作;
2、将A库中某张表的数据全部同步到B库中某张表的动作 ;
3、将A库中某张表满足特定条件的数据追加至B库中某张表的动作 。
脚本
脚本是一个以retl为后缀的文件 ,该文件包含:版本标记、注释、变量、命令。
脚本命令包括四部分:动作名称、动作参数、来源适配器和目标适配器 。
一个数据处理任务对应一个任务脚本。即调度器运行一个数据处理任务时,是通过执行一个任务脚本来完成具体的数据处理过程的。当有多个数据处理任务时,也就相应有多个任务脚本。
一个数据处理任务脚本中可以包括若干数据处理动作(Action),用于指定ETL任务需要对哪些数据执行何种ETL操作处理。
适配器
适配器( Adapter )负责与数据源之间的输入与输出,例如连接数据库、打开文件、LOG或ERROR都是由Adapter负责的 。
数据处理工具通常需要面对多种数据源环境。
例如,当需要将多个业务系统的数据抽取并同步至统一的数据中心时,生产系统的数据库可能是Oracle,财务系统的数据库则可能是SQLServer,人事系统的数据库又可能是DB2。其次,不仅仅是关系型数据库,有时数据源还可能是文件类型,如Excel、XML。
对不同类型数据源的操作方式通常是不同的。
适配器(Adapter)则是封装了对不同数据源的操作。并可在数据处理工具动作中直接调用,从而完成对不同类型数据源的支持。
适配器可为分为:源适配器和目标适配器。
动作
具体执行数据处理、文件处理的操作 。 有很多不同功能的动作,例如 :
1、在数据库中执行一段SQL语句的动作;
2、将A库中某张表的数据全部同步到B库中某张表的动作 ;
3、将A库中某张表满足特定条件的数据追加至B库中某张表的动作 。
脚本
脚本是一个以retl为后缀的文件 ,该文件包含:版本标记、注释、变量、命令。
脚本命令包括四部分:动作名称、动作参数、来源适配器和目标适配器 。
一个数据处理任务对应一个任务脚本。即调度器运行一个数据处理任务时,是通过执行一个任务脚本来完成具体的数据处理过程的。当有多个数据处理任务时,也就相应有多个任务脚本。
一个数据处理任务脚本中可以包括若干数据处理动作(Action),用于指定ETL任务需要对哪些数据执行何种ETL操作处理。