基于ODPS的SQL语句

(一)基本概念

1.ODPS:Open Data Processing Service, 简称ODPS;是由阿里云自主研发,提供针对TB/PB级数据、实时性要求不高的分布式处理能力,应用于数据分析、挖掘、商业智能等领域;阿里巴巴的离线数据业务都运行在ODPS上;

2.御膳房:基于ODPS的一个应用模型;基于公共云计算的数据管理、计算和交换平台,为政府机构、企业、科研机构、第三方软件服务商等客户,提供大数据管理、开发和生产计算的能力,同时让客户间能交换数据,解决数据管理、应用、流通的场景需求,帮助客户实现商业价值;

3.ODPS SQL:与Hive SQL语法基本一致;适用于海量数据(TB级别),实时性要求不高的场合,它的每个作业的准备,提交等阶段要花费较长时间, 因此要求每秒处理几千至数万笔事务的业务是不能用ODPS SQL完成的;ODPS SQL采用的是类似于SQL的语法,可以看作是标准SQL的子集,但不能因此简单的把ODPS SQL等价成一个数据库,它在很多方面并不具备数据库的特征;

PS:常见数据库有层次型(树状),网状型(网络),关系型(二维表格)

4.SQL语句不分大小写,使用“--”进行注释,使用分号作为语句结束符号;

5.支持的数据类型:bigint,double,string,datetime,boolean,decimal;

6.支持的关系运算符:=, <>, <, <=, >, >=, is null, is not null, like, rlike和in ;

7.支持的算术运算符:+, -, * , /, %;

8.支持的逻辑运算符:and, or,not

9.支持的位运算符:&,|;

10.支持三目运算符:A?B:C;

11.SQL语言包括四种主要程序设计语言类别的语句:数据定义语言(DDL),数据操作语言(DML),数据控制语言(DCL)和事务控制语言(TCL);在ODPS中使用的主要是DDL跟DML;

12.ODPS平台上的数据都是以表的形式来处理的,所以SQL语句很重要,在处理SQL时候,字段也是一个关键的概念;

(二)DDL语句

1.表的创建

(1)新建一个自定义的表:create table if not exists A (字段名  字段类型);

(2)新建一个表,字段与现有表一致,但数据并没有复制:create table if not exists A like B;

2.表的删除

drop table A;

3.表的重命名

alter table A rename to B;

4.表的生命周期

alter table A set lifecycles 30;

5.增加字段

alter table A add columns(字段名  字段类型);

6.查看表的信息

desc A

(三)DML语句

1.表中数据的更新(insert语句)

(1)insert overwrite table A select * from B :表示将表A的数据复制到表B中,前提是字段一致;

PS:ODPS平台的SQL仅支持以上的更新数据库语句;其中关键字overwrite表示覆盖写入,可换成into表示追尾写入;

2表中数据的读取(select语句)

(1)select * from A:读取全部字段数据

(2)select uid from A:读取某一字段全部数据

(3)select distinct uid from A :读取某一字段不重复数据

(4)select * from A where uid='a':读取某一字段值等于指定值的数据

(5)select * from (select * from A)a:嵌套语句

(6)select sum(uid) from A group by uid:分组查询

(7)select * from A order by uid limit 4:全局排序,必须与limit 配合使用

(8)select  row_number() over (partition by item order by score)as row_num from A:对字段item按字段score值进行局部排序并给出序号

3.表的合并(union all 语句)

select * from(
select * from t1 where uid='a'
  union all 
select * from t2 where uid='a')t;

4.表的连接(join 语句与left outer join 语句)

(1)join

select * from A a join B b on a.item = b.item :返回A,B表中字段item值相同的数据

(2)left outer join 

select * from A a left outer join B b on a.item = b.item :返回A表全部数据

(四)内建函数

查看附件文档

附件:ODPS SQL

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页