在导入数据源完毕以后,可以创建简单项目进行数据抽取测试。
新项目的创建步骤如下所示:
1、新建项目。输入项目名称,直接保存即可。
2、项目结构介绍。
新建一个项目后,主要包括以下几个模块:
- 第一个文件夹:主要保存抽取程序的主要逻辑,几乎所有的流程设计均在此文件夹下的功能模块中完成。
- 程序包:主要用于设计抽取流程,每一个抽取步骤都可以定义在该程序包中。即设计抽取前做什么,执行哪个抽取映射,执行完毕后做什么等。
- 映射:主要用于设计抽取逻辑,即设计数据从哪里来,到哪里去。
- 可重用映射:一种特殊的映射,目前我还没用到
- 过程:可以自定义执行命令,比如做一些数据的union操作后插入目标表等。
- 变量:可以通过sql语句或者函数命令来刷新变量值,变量可以直接用于数据抽取过程中作为条件等。
- 序列:根据设置规则自动产生序列值
- 用户函数:用户自定义的函数,我还未用到。
- 知识模块:主要定义数据抽取各个环节中的业务逻辑,会通过不同的sql语句等来完成创建临时表、导入数据等操作。
标记:标记进度和优先级等。
项目结构图如下所示:
3、导入知识模块。
知识模块是在数据抽取时候指导应该采取什么样的方式来进行,所以针对不同类型的抽取需要导入相应的知识模块。
知识模块的路径为见下图:
导入完成:
检查知识模块:
4、建立简单映射
填写映射名称,取消创建空数据集
在模型中选择抽取表和目标表,并拖到设计面板的【逻辑】标签页中。拖动连接点建立连接,可以根据名称自动映射,也可手动指定。
在设计面板中切换到【物理】标签页,可以看到该映射的物理架构,选择中间步骤,在【属性】中选择相应的知识模块。
此处选择SQL to Oracle,一般源数据库是关系型数据库可以选用此选项。
保存映射。
5、运行映射
选中相应映射,右键选择【运行】,或者打开映射后直接点击工具栏的运行按钮。
6、选择相应的代理,运行。
如果数据没有正常抽取,请参照ODI错误查找篇进行错误查找和定位。