数据分析
LuckyDouer
喜欢钻研,乐于生活
展开
-
ODI环境搭建_04安装Oracle Data Integrator
前往Oracle官网下载安装文件,共两个文件,放置到同一文件夹下。 下载地址:http://www.oracle.com/technetwork/middleware/data-integrator/downloads/index.html1、使用管理员权限运行cmd命令行 2、使用java -jar 安装包 命令进行程序安装 3、选择Oracle安装主目录,如果安装了Middleware就可原创 2016-09-23 15:57:54 · 1765 阅读 · 0 评论 -
ODI数据抽取教程_03定时执行
多数情况下,我们需要ODI根据时间设置自动执行任务,以解脱人力。本章节将介绍如何设置ODI的自动执行任务。在进行本章节之前,需要做好以下前提工作: 1、 已设置ODI代理并测试成功。 2、 已设置至少一个ODI的映射。具备以上条件后,可以进行设置定期执行的工作。 1、 在需要设置的映射上点击右键,选择【生成场景】 2、输入场景名称,创建 3、展开新建的场景,在【调度】上右键【新建调度】原创 2016-09-27 14:45:12 · 5683 阅读 · 2 评论 -
ODI数据抽取教程_02创建简单项目
在导入数据源完毕以后,可以创建简单项目进行数据抽取测试。新项目的创建步骤如下所示: 1、新建项目。输入项目名称,直接保存即可。 2、项目结构介绍。 新建一个项目后,主要包括以下几个模块:第一个文件夹:主要保存抽取程序的主要逻辑,几乎所有的流程设计均在此文件夹下的功能模块中完成。 程序包:主要用于设计抽取流程,每一个抽取步骤都可以定义在该程序包中。即设计抽取前做什么,执行哪个抽取映射,执行完原创 2016-09-27 14:33:41 · 3129 阅读 · 2 评论 -
ODI环境搭建_03安装Oracle中间件
Oracle中间件主要是用于运行ODI的代理功能。如果ODI没有设置代理,则所有的抽取工作需要登录ODI手动进行。发布到代理后可以在指定的时间自动运行。 如果个人仅用于学习和测试,则可跳过改步骤。原创 2016-09-22 16:01:23 · 1234 阅读 · 0 评论 -
ODI环境搭建_02安装Oracle12c数据库
1、下载Oracle12c的安装包 下载地址:http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html 2、 解压安装包 注意:必须要两个文件全部解压,仅解压一个文件安装会报错。 3、点击setup.exe进行安装 4、按需选择是否更新 5、创建和配置原创 2016-09-22 15:44:59 · 2016 阅读 · 0 评论 -
ODI环境搭建_01搭建Java环境
ODI 12c环境搭建_01搭建Java环境ODI的运行环境依托于Java环境,所以第一步需要搭建Java环境,与常规的Java环境搭建并没有什么不同。 具体步骤如下:原创 2016-09-22 15:09:07 · 1206 阅读 · 0 评论 -
ODI数据抽取教程_01设置数据源
根据前面的环境搭建步骤,ODI的环境已经搭建完成,代理也配置成功。 现在开始学习数据抽取的步骤。第一步:设置抽取的数据源和目标数据源1、 首先要有两个数据库,一个是提供源数据的数据库,可以是ODI的支持的任意类型,sqlserver、oracle、mysql、hive均可以,此处以Orale为例,目标数据库也为Oracle,后续将写一下如何抽取MongoDB数据库的数据。2、新建数据服务器。此处主原创 2016-09-23 17:14:11 · 7388 阅读 · 0 评论 -
ODI环境搭建_08设置ODI代理
ODI环境搭建_08设置ODI代理再前面的步骤中建立了域和代理后,需要在此处进行设置才能正常使用。1、登录ODI后,在【拓扑】标签页选择【物理结构】–》【代理】,右键,新建代理。代理名称在我测试中必须使用OracleDIAgent才能正常连接,如果使用其他名称则连接不上,可能与前面的设置有关系。 端口选择15101,web程序上下文使用oraclediagent 2、创建逻辑ODI代理 3、登原创 2016-09-23 16:50:25 · 3747 阅读 · 1 评论 -
ODI环境搭建_07初始化ODI配置
第一次运行ODI进行的初始化配置1、 有时候第一次打开程序需要制定jdk路径。 2、点击连接到资料档案库,弹出登录窗体 3、创建资料库登录,由于前面使用的RCU初始化了主资料档案库和工作资料档案库,此处可以直接选择工作资料档案库进行登录。 注意选择上面的用户是RCU的时候创建的ODI用户,后面的是ODI的数据库用户。 测试连接是否正常。 4、使用创建的登录信息直接登陆。原创 2016-09-23 16:38:32 · 1397 阅读 · 0 评论 -
ODI环境搭建_06配置代理
ODI环境搭建_06配置代理ODI的代理是自动运行任务的必不可少的一环,如果想实现自动抽取的功能需要设置好代理,此处步骤较多,问题也不少,自己整理了下步骤。1、 运行代理配置程序,进行代理配置 目录为:Oracle_Home/oracle_common/common/bin/config.cmd 2、创建新域 3、按照图示选择相关模板,会关联勾选相关依赖模板 4、创建管理员账原创 2016-09-23 16:16:29 · 2600 阅读 · 0 评论 -
ODI环境搭建_05初始化资料档案库(RCU)
ODI环境搭建_05初始化资料档案库(RCU)如果是独立部署用于学习和测试目的,不需要部署代理的安装,可以直接使用ODI自带的功能生成主资料档案库和工作资料档案库。 如果是需要部署代理,强烈建议采用该步骤进行资料档案库的初始化,因为自己配置代理的话会非常麻烦。1、 运行Oracle_Home/oracle_common/bin/rcu.bat文件,启动RCU程序 2、创建资料档案库 3、选择数原创 2016-09-23 16:11:33 · 3490 阅读 · 0 评论 -
ODI使用技巧_01利用变量实现增量抽取
ODI使用技巧_01利用变量实现增量抽取有时候由于数据量较多,我们不想每次都进行全表覆盖,如果你的源数据有规律增长的ID或者时间戳,就可以使用自定义变量的方式进行增量抽取。进行本章之前需要先做以下前提工作: 1、有创建好的项目 2、已经将源数据和目标数据创建到模型中如果前提工作已经做好,可以参考以下步骤进行设置:1、 新建变量,输入变量名称,如果变量较多建议采用前缀来区分,因为是不能分文件夹的。原创 2016-09-27 16:25:26 · 3533 阅读 · 1 评论