ODPS或者MaxCompute总结及目录首页
上手第一步熟悉帮助文档:
https://help.aliyun.com/document_detail/34614.html?spm=5176.doc27991.6.688.7kvUSO
对odps基础概念进行理解:
project --- 类似database的概念
table --- 类似表的概念
schema --- 各个列的名称和类型构成这张表的 schema
partition --- 分区 Partition 是指一张表下,根据分区字段(一个或多个组合)对数据存储进行划分。 也就是说,如果表没有分区,数据是直接放在表所在的目录下;而如果表有 Partition, 每个 Partition 对应表下的一个目录,数据是分别存储在不同的分区目录下。
resource---资源(Resource)是 ODPS 特有的概念,用户可以上传本地自定义的 JAR 包或文件作为资 源,也可以将 Project 下的某张表作为资源。比如,把 UDF、MapReduce 生成的 JAR 包, 上传本地文件、字典表等。
tunnel--- ODPS Tunnel 是 ODPS 供的数据通道服务,支持各种异构数据源和 ODPS 之间的数据交互。
它是 ODPS 数据对外的统一通道, 供高吞吐、持续稳定的服务。
ODPS基础类型,ODPS 支持以下 5 种原始数据类型:
BIGINT, 8 字节有符号整型
BOOLEAN,布尔型,包括 TRUE/FALSE
DOUBLE,8 字节双精度浮点数
STRING,字符串,需要注意在 ODPS 中的函数会假设 STRING 中存的是 UTF8 编码的字符串,其他编码格式可能会导致异常。
DATETIME 日期类型,格式如 YYYY-MM-DD HH:mm:SS,如 2012-01-02 10:09:25 ODPS 不支持如 Array 这样复杂的数据类型。