表格存储仅支持脚本模式配置,使用过程中涉及Tablestore(OTS) Reader和OSS Writer插件的配置。具体操作,请参见
在脚本配置页面,请根据如下示例完成配置。{
"type": "job", # 不能修改。
"version": "1.0", # 不能修改。
"configuration": {
"setting": {
"errorLimit": {
"record": "0" # 当错误个数超过record个数时,导入任务会失败。
},
"speed": {
"mbps": "1", # 导入速率,单位是MB/s。
"concurrent": "1" # 并发度。
}
},
"reader": {
"plugin": "ots", # 不能修改。
"parameter": {
"datasource": "", # 数据集成中的数据源名称,需要提前配置完成,此处可选择配置Tablestore的数据源或者填写明文的AccessKeyID等鉴权信息,建议使用数据源。
"table": "", # Tablestore中的数据表名称。
"column": [ # 需要导出到OSS的列名,不能设置为空。
{
"name": "column1" # Tablestore中列名,此列需要导入到OSS。
},
{
"name": "column2" # Tablestore中列名,此列需要导入到OSS。
}
],
"range": {
"begin": [
{
"type": "INF_MIN" # Tablestore中第一列主键的起始位置。如果需要导出全量,此处请配置为INF_MIN;如果只需导出部分,则按需要配置。当数据表存在多个主键列时,此处begin中需要配置对应主键列信息。
}
],
"end": [
{
"type": "INF_MAX" # Tablestore中第一列主键的结束位置。如果需要导出全量,此处请配置为INF_MAX;如果只需导出部分,则按需要配置。当数据表存在多个主键列时,此处end中需要配置对应主键列信息。
}
],
"split": [ # 用于配置Tablestore的数据表的分区信息,可以加速导出,下一个版本会自动处理。
]
}
}
},
"writer": {
"plugin": "oss",
"parameter": {
"datasource": "", # 配置OSS的数据源。
"object": "", # Object的前缀,无需包括Bucket名称,例如tablestore/20171111/。如果是定时导出,则此处需要使用变量,例如tablestore/${date},然后在配置调度参数时配置${date}的值。
"writeMode": "truncate", # 当同名文件存在时系统进行的操作,全量导出时请使用truncate,可选值包括truncate、append和nonConflict,truncate表示会清理已存在的同名文件,append表示会加到已存在的同名文件内容后面,nonConflict表示当同名文件存在时会报错。
"fileFormat": "csv", # 文件类型,可选值包括csv、txt和parquet格式。
"encoding": "UTF-8", # 编码类型。
"nullFormat": "null", # 定义null值的字符串标识符方式,可以是空字符串。
"dateFormat": "yyyy-MM-dd HH:mm:ss", # 时间格式。
"fieldDelimiter": "," # 每一列的分隔符。
}
}
}
}