ETL工具的比较:DATASTAGE, KETTLE ,ODI ,SSIS

DATASTAGE 部分

在这里插入图片描述

在这里插入图片描述在这里插入图片描述DS 产品组成:
Client 客户端层 视频中讲解的版本为8.7 版本 datastage administrator datastage designer datastage director

datastage administrator: DS项目的项目管理(项目的添加,删除,修改配置等)
datastage designer : JOB的设计和执行(job的创建,删除,编译,执行等)
Datastage director : job 运行的监控

engine引擎层
server engine 负责抽取,转换,装载和标准化数据的JOB执行
ASB agents application service backbone 负责服务层和引擎层的通信

services 服务层
websphere application server
WEB 容器

repository元数据层 默认选择DB2

job 类型
server jobs 运行在 datastage server engine上
没有并行功能

Parallel jobs
运行在datastage parallel engine 上
内置管道并行 和分区并行

Transformer stage
Mainframe job
Sequence jobs 运行在datastage server engine上
用于JOB的调度配置依赖等 可以启动server jobs 和 parallel jobs

在这里插入图片描述

在这里插入图片描述

infosrvr:~more /opt/IBM/InformationServer/Server/Configurations/default.apt

{
node “node1”
{
fastname “infosrvr”
pools “”
resource disk “/opt/IBM/InformationServer/Server/Datasets” [pools “”]
Resource scratchdisk “/opt/IBM/InformationServer/Server/Scratch” [pools “”]
}
node “node2”
{
fastname “infosrvr”
pools “”
resource disk “/opt/IBM/InformationServer/Server/Datasets” [pools “”]
Resource scratchdisk “/opt/IBM/InformationServer/Server/Scratch” [pools “”]
}
}

机器的话,一般我们按照按两个CPU去做一个节点,比如一台机器8个CPU一般会做4个节点,

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
final delimiter = end 默认文件是行格式
delimiter = comma comma 是逗号的意思,列分隔符是逗号

在这里插入图片描述
在这里插入图片描述
DB2 connector

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值