Trafodion ETL工具odb进行数据load方法及性能

1 篇文章 0 订阅
0 篇文章 0 订阅

简介

odb是Apache孵化项目Trafodion自带的ETL工具,主要可完成数据表的导入、导出和两个数据库之间的复制功能。是一个小巧实用、linux/windows双平台的工具。

当环境安装配置好odbc驱动后,就可使用odb对Trafodion、oracle等数据库进行导入、导出、复制操作。


指令及参数说明

指令如下:

./odb64luo -u USERNAME -p PASSWD -d DSN -l src=FILE_PATH:tgt=TRAFODION.SCHEMA_NAME.TABLE_NAME:loadcmd=UL:max=N:fs=,:parallel=M

使用以上指令可以把文件 FILE_PATH 导入数据库的表 TRAFODION.SCHEMA_NAME.TABLE_NAME 中。

-u:数据库用户名

-p:数据库密码

-d:数据库DSN,对应odbc.ini文件中的配置

-l:说明是load功能,相应的有 -e 导出, -cp 表复制

src:源文件路径

tgt:目标表

loadcmd:提供IN/UP/UL,其中UL速度最快,不过不做检查

max:load多少行,不写该参数默认load整个文件

fs:文件总每列的分隔符

parallel:并行程度,同时起多少个线程load数据,根据环境配置,正确设置该值可以极大优化load速率

当然,还有很多参数可以设置,这里不一一描述。


load性能

load性能和文件属性有很大的关系,如果文件中每行数据较多(对应表的列数多,每列内容多),则吞吐量较大

不同并发程度load数据的吞吐量如上图,在文件每行长度较大的情况下,可达135MB/s。


想要使用的朋友可以在GITHUB开源社区搜索 INCUBATOR_TRAFODION。


具体使用方法见官方说明书:

http://trafodion.incubator.apache.org/docs/odb/


  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值