php全量导出,全量导出(脚本模式)

表格存储仅支持脚本模式配置,使用过程中涉及Tablestore(OTS) Reader和OSS Writer插件的配置。具体操作,请参见

在脚本配置页面,请根据如下示例完成配置。{

"type": "job", # 不能修改。

"version": "1.0", # 不能修改。

"configuration": {

"setting": {

"errorLimit": {

"record": "0" # 当错误个数超过record个数时,导入任务会失败。

},

"speed": {

"mbps": "1", # 导入速率,单位是MB/s。

"concurrent": "1" # 并发度。

}

},

"reader": {

"plugin": "ots", # 不能修改。

"parameter": {

"datasource": "", # 数据集成中的数据源名称,需要提前配置完成,此处可选择配置Tablestore的数据源或者填写明文的AccessKeyID等鉴权信息,建议使用数据源。

"table": "", # Tablestore中的数据表名称。

"column": [ # 需要导出到OSS的列名,不能设置为空。

{

"name": "column1" # Tablestore中列名,此列需要导入到OSS。

},

{

"name": "column2" # Tablestore中列名,此列需要导入到OSS。

}

],

"range": {

"begin": [

{

"type": "INF_MIN" # Tablestore中第一列主键的起始位置。如果需要导出全量,此处请配置为INF_MIN;如果只需导出部分,则按需要配置。当数据表存在多个主键列时,此处begin中需要配置对应主键列信息。

}

],

"end": [

{

"type": "INF_MAX" # Tablestore中第一列主键的结束位置。如果需要导出全量,此处请配置为INF_MAX;如果只需导出部分,则按需要配置。当数据表存在多个主键列时,此处end中需要配置对应主键列信息。

}

],

"split": [ # 用于配置Tablestore的数据表的分区信息,可以加速导出,下一个版本会自动处理。

]

}

}

},

"writer": {

"plugin": "oss",

"parameter": {

"datasource": "", # 配置OSS的数据源。

"object": "", # Object的前缀,无需包括Bucket名称,例如tablestore/20171111/。如果是定时导出,则此处需要使用变量,例如tablestore/${date},然后在配置调度参数时配置${date}的值。

"writeMode": "truncate", # 当同名文件存在时系统进行的操作,全量导出时请使用truncate,可选值包括truncate、append和nonConflict,truncate表示会清理已存在的同名文件,append表示会加到已存在的同名文件内容后面,nonConflict表示当同名文件存在时会报错。

"fileFormat": "csv", # 文件类型,可选值包括csv、txt和parquet格式。

"encoding": "UTF-8", # 编码类型。

"nullFormat": "null", # 定义null值的字符串标识符方式,可以是空字符串。

"dateFormat": "yyyy-MM-dd HH:mm:ss", # 时间格式。

"fieldDelimiter": "," # 每一列的分隔符。

}

}

}

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值