udaldump数据导入导出工具使用

udal数据库数据导入导出工具udaldump使用示例

帮助查看

./start -h
usage: 参数说明
-bufSize,–bufSize 导入文件时使用的缓冲区大小(单位:Byte)
-c,–needClear 是否以truncate形式清空目标数据库中的数据或文件导出目录
-cid,–clusterId
当使用了dio选项时（否则忽略该参数），dbproxy集群id（从
Udal管理平台获取）
-ct,–consumerThreadCnt 消费者线程数
-d,–disruptorCapacity 数据队列上限
-dD,–desDir 文件导出时的数据目录
-dh,–desHost 目标Host
-dio,–directDbRead 当源数据库为Udal时，是否直连各分片mysql数据库
-dP,–desPort 目标Port
-dp,–desPwd 目标Password
-ds,–desServiceName 目标service_name,Oracle专用，注意不是sid
-du,–desUsername 目标User
-eC,–supplyNeedClearDes 是否清空异常数据目录
-eD,–supplyDir 异常数据目录，存放DUMP过程中失败的数据
-eF,–supplyForceClear 当异常输出目录不为空时是否强制清空
-f,–forceClear 文件导出时目标目录不为空是否强制清空
-ftb,–fieldsTerminatedBy 导出文件时列之间的间隔符，默认为|
-h,–help 打印帮助文档
-hdfs,–hdfsParam 文件导出至HDFS时设置的hdfs连接参数（kerberos认证）
-i,–timerInterval DUMP过程信息输出的时间间隔(ms)，默认为10s
-ignore,–insertIgnoreInto 当目标数据库为Mysql、UDAL时，是否insert
ignore into
-lang,–language 语言环境，zh表示中文，en表示英文，可选参数，默认中文
-ltb,–linesTerminatedBy
文件导出时使用的换行符，默认为udaldump执行所在操作系统的换
行符
-master,–needReadFromMaster
当使用了dio选项时（否则忽略该参数），直连mysql时是否从ma
ster数据库进行读取
-mdd,–multiDesDBProxy
目标数据库是Udal时，配置多个Udal节点用于负载均衡，代替LV
S之类的组件，以获取更高的写入性能
-nvl,–nullType
复制时null字段处理类型：转换为空字符串(0),转换字符串nul
l(1)
-oc,–omitConsume 忽略消费,用于观察读取速度上限
-oeb,–optionallyEnclosedBy The character within which to
enclose non-numeric column
values，默认为’
-opt,–optionPath
从文件读取DUMP参数配置（含系统参数和数据库参数），当使用了该参
数，忽略其余命令行参数
-ort,–orclParallelThreadCnt
当源数据库为Oracle时（否则忽略该参数），设定的select语
句Hint并行读线程数量
-os,–onlineBatchSize DUMP时使用的batchSize
-p,–configPath
当设置该参数时，xml形式的导入导出数据库相关配置项从该文件加载，
该参数优先级高于configXml
-replaceJson,–replaceJson
Dump过程中，需要替换内容使用的Json字符串，多个旧对象替换为
配置的多个一一对应的新对象，Json的key为正则表达式，valu
e为待替换的对象值
-retryCnt,–consumeFailRetryCnt 当dump目标为数据库时，写入失败的重试次数
-rt,–readThreadCnt 生产者线程数
-sD,–srcDir 文件导入时的数据目录
-sh,–srcHost 源Host
-skipRow,–txtSkipRow
导入txt文件时忽略的起始行数，用于忽略csv文件中包含了数据库表
的列名或说明信息
-sp,–srcPwd 源Password
-sP,–srcPort 源Port
-ss,–srcServiceName 源service_name,Oracle专用，注意不是sid
-su,–srcUsername 源User
-v,–verifyDbType 数据校验类型:doNothing(0),select
count表计数(1),默认为0
-vt,–clearThreadCnt 数据清理和校验时使用的线程数
-whole,–tableWholeFile
当使用了dio选项时，导出文件时是否每个表数据导出至一整个大文件中
，若未设置该参数，则可能该表的每个分片单独摆放至一个数据文件中
-x,–configXml xml形式的导入导出数据库相关配置项
-zk,–zkInfo
当使用了dio选项时（否则忽略该参数），zk连接信息的json串（
从Udal管理平台获取）

CSV 文件导入–>-- Udal数据库 参数配置示例

使用配置文件如下：

sD=/tmp/export
ftb ','
oeb '"'
rt=1
ct=1
x='<etl><schemas><schema des="ota"><tables><table des="temp_data" file=".*\.csv" virtual="true" exclusiveColumn=""></table></tables></schema></schemas></etl>'
eC
eF
mdd='[{"host":"10.xx.xx.xxx","port":xx,"username":"user","pwd":"xxx"}]'
c

执行导入：

./start -opt /tmp/export/test.prop -eD /tmp/test_dump