阿里云：Table Store（OTS） Writer

Table Store（OTS） Writer

更新时间：2020-06-17 17:37:14

   

本页目录

• 参数说明
• 向导开发介绍
• 脚本开发介绍

本文为您介绍Table Store（OTS） Writer支持的数据类型、写入方式、字段映射和数据源等参数及配置示例。

表格存储（Table Store）是构建在阿里云飞天分布式系统之上的NoSQL数据库服务，提供海量结构化数据的存储和实时访问。Table Store以实例和表的形式组织数据，通过数据分片和负载均衡技术，实现规模上的无缝扩展。

Table Store Writer通过Table Store官方Java SDK连接到Table Store服务端，并通过SDK写入Table Store服务端 。Table Store Writer本身对于写入过程进行诸多优化，包括写入超时重试、异常写入重试、批量提交等功能。

目前Table Store Writer支持所有Table Store类型，其针对Table Store类型的转换列表，如下所示。

类型分类	Table Store数据类型
整数类	INTEGER
浮点类	DOUBLE
字符串类	STRING
布尔类	BOOLEAN
二进制类	BINARY

说明 您需要将INTEGER类型的数据，在脚本模式中配置为INT类型，DataWorks会将其转换为INTEGER类型。如果您直接配置为INTEGER类型，日志将会报错，导致任务无法顺利完成。

参数说明

参数	描述	是否必选	默认值
datasource	数据源名称，脚本模式支持添加数据源，该配置项填写的内容必须与添加的数据源名称保持一致。	是	无
endPoint	Table Store Server的服务地址。	是	无
accessId	Table Store的AccessKey ID。	是	无
accessKey	Table Store的AccessKey Secret。	是	无
instanceName	Table Store的实例名称。 实例是您使用和管理Table Store服务的实体。开通Table Store服务后，需要通过管理控制台创建实例后，在实例内进行表的创建和管理。实例是Table Store资源管理的基础单元，Table Store对应用程序的访问控制和资源计量都在实例级别完成。	是	无
table	所选取的需要抽取的表名称，此处能且只能填写一张表。在Table Store中不存在多表同步的需求。	是	无
primaryKey	Table Store的主键信息，使用JSON的数组描述字段信息。Table Store本身是NoSQL系统，在Table Store Writer导入数据过程中，必须指定相应的字段名称。 说明 Table Store的PrimaryKey仅支持STRING和INT两种类型，因此Table Store Writer本身也限定填写上述两种类型。 数据同步系统本身支持类型转换的，因此对于源头数据非STRING/INT，Table Store Writer会进行数据类型转换。配置示例如下。 "primaryKey" : [ {"name":"pk1", "type":"string"}, {"name":"pk2", "type":"int"} ],	是	无
column	所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。 使用格式为： {"name":"col2", "type":"INT"}, 其中的name指定写入的Table Store列名，type指定写入的类型。Table Store类型支持STRING、INT、DOUBLE、BOOL和BINARY类型。	是	无
writeMode	writeMode表示数据写入表格存储的格式，目前支持以下两种模式： PutRow：对应于Table Store PutRow API，插入数据到指定的行。如果该行不存在，则新增一行。如果该行存在，则覆盖原有行。 UpdateRow：对应于Table Store UpdateRow API，更新指定行的数据。如果该行不存在，则新增一行。如果该行存在，则根据请求的内容在这一行中新增、修改或者删除指定列的值。	是	无
requestTotalSizeLimitation	该配置限制写入Table Store时单行数据的大小，配置类型为数字。	否	1MB
attributeColumnSizeLimitation	该配置限制写入Table Store时单个属性列的大小，配置类型为数字。	否	2MB
primaryKeyColumnSizeLimitation	该配置限制写入Table Store时单个主键列的大小，配置类型为数字。	否	1KB
attributeColumnMaxCount	该配置限制写入Table Store时属性列的个数，配置类型为数字。	否	1,024

向导开发介绍

暂不支持向导模式开发。

脚本开发介绍

配置一个写入Table Store作业，使用脚本模式开发的详情请参见通过脚本模式配置任务。

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",//插件名。
            "parameter":{
                "datasource":"",//数据源。
                "column":[//字段。
                    {
                        "name":"columnName1",//字段名。
                        "type":"INT"//数据类型。
                    },
                    {
                        "name":"columnName2",
                        "type":"STRING"
                    },
                    {
                        "name":"columnName3",
                        "type":"DOUBLE"
                    },
                    {
                        "name":"columnName4",
                        "type":"BOOL"
                    },
                    {
                        "name":"columnName5",
                        "type":"BINARY"
                    }
                ],
                "writeMode":"",//写入模式。
                "table":"",//表名。
                "primaryKey":[//Table Store的主键信息。
                    {
                        "name":"pk1",
                        "type":"STRING"
                    },
                    {
                        "name":"pk2",
                        "type":"INT"
                    }
                ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":false,//false代表不限流，下面的限流速度不生效；true代表限流。
            "concurrent":1//作业并发数。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

 上一篇：OpenSearch Writer

下一篇：RDBMS Writer 

相关文档

• Table Store（OTS） Reader
• 配置OTS数据源
• OTSReader-Internal
• OTSStream Reader
• 通过脚本模式配置任务
• TableStore（OTS）

相关产品

• DataWorks

  新一代智慧大数据研发平台DataWorks（数据工场，原大数据开发套件）是从工作室、车间到工具集都齐备的一站式大数据工场，助力您快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作。DataWorks + MaxCompute 在2018年获得著名分析评测机构Forrester的Cloud Data Warehouse云数据仓库世界排名第二的成绩，是唯一入选的中国产品。 DataWorks V2.0 在DataWorks V1.0的基础上新增业务流程、组件的概念，完善数据研发体系，支持双项目开发，隔离开发和生产，保证数据研发规范，减少错误代码。

• MaxCompute

  大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。 诚邀您参加阿里云MaxCompute问卷调研，问卷填写大概需要花费您5-10分钟。我们将在认真填写的用户中随机抽取100名，每名用户赠送100元MaxCompute无门槛代金券。参与地址：https://survey.aliyun.com/apps/zhiliao/boGZtw_74

• 智能数据构建与管理 Dataphin

  Dataphin（智能数据构建与管理）是智能的