MaxCompute 学习计划(二)-CSDN博客

MaxCompute SQL

在这一课，我们开始学习MaxCompute SQL。希望通过这一课的学习，能基本掌握MaxCompute SQL的写法，清楚MaxCompute SQL和标准SQL的区别，还要能熟悉系统内建函数。

数据集

刚开始使用MaxCompute建议到这里免费体验。中间的账号注册、实名认证、数据上传一类的这里不再赘言。

进去后到脚本开发里创建一个自己的脚本。然后就可以开始写SQL执行了。

参考资料

可能需要参考MaxCompute关于SQL部分的文档，比如DML部分和内建函数。

常见错误

如果使用了Group by，那Select的部分要么是分组项，要么就得是聚合函数。
Order by后面必须加Limit n。
Select表达式里不能用子查询，可以用Join改写。
Join不支持笛卡尔积，以及MapJoin的用法和使用场景。
Union all需要改成子查询的格式。
In/Not in语句对应的子查询只能有一列，而且返回的行数不能超过1000。否则也需要改成Join。

作业

还是之前学习Mysql SQL时候的题目，这里就不重复列出来以免有凑字数嫌疑 : )
此外文档里提到的输出到动态分区功能请熟练掌握
列出每个部门的薪水前3名的人员的姓名以及他们的名次(Top n的需求非常常见)
用一个SQL写出每个部门的人数、“CLERK”（办事员）的人数占该部门总人数占比
梳理内建函数里时间数据的各种格式的转换方式，包括时间戳<==>日期类型数据<==>字符串格式

参考答案

以下是容易出错的题目的答案

--1．列出至少有一个员工的所有部门。 Join改写。避免数据量太大的情况下导致“常见错误”6
SELECT d.*
FROM dept d
JOIN (
    SELECT DISTINCT deptno AS no
    FROM emp
) e
ON d.deptno = e.no;

--2．列出薪金比“SMITH”多的所有员工。 MapJoin的典型场景 
SELECT /*+ MapJoin(a) */ e.empno
    , e.ename
    , e.sal
FROM emp e
JOIN (
    SELECT MAX(sal) AS sal
    FROM `emp`
    WHERE `ENAME` = 'SMITH'
) a
ON e.sal > a.sal;

--3．列出所有员工的姓名及其直接上级的姓名。 非等值连接
SELECT a.ename
    , b.ename
FROM emp a
LEFT OUTER JOIN emp b
ON b.empno = a.mgr;

--7．列出最低薪金大于1500的各种工作。 Having的用法
SELECT emp.`JOB`
    , MIN(emp.sal) AS sal
FROM `emp`
GROUP BY emp.`JOB`
HAVING MIN(emp.sal) > 1500;

--13．列出在每个部门工作的员工数量、平均工资和平均服务期限。 时间处理上有很多好用的内建函数
SELECT COUNT(empno) AS cnt_emp
    , ROUND(AVG(sal), 2) AS avg_sal
    , ROUND(AVG(datediff(getdate(), hiredate, 'dd')), 2) AS avg_hire
FROM `emp`
GROUP BY `DEPTNO`;

--22 列出每个部门的薪水前3名的人员的姓名以及他们的名次(Top n的需求非常常见)
SELECT *
FROM (
    SELECT deptno
        , ename
        , sal
        , ROW_NUMBER() OVER (PARTITION BY deptno ORDER BY sal DESC) AS nums
    FROM emp
) emp1
WHERE emp1.nums < 4;

--23 用一个SQL写出每个部门的人数、“CLERK”（办事员）的人数占该部门总人数占比
SELECT deptno
    , COUNT(empno) AS cnt
    , ROUND(SUM(CASE 
        WHEN job = 'CLERK' THEN 1
        ELSE 0
    END) / COUNT(empno), 2) AS rate
FROM `EMP`
GROUP BY deptno;

UDF/UDAF/UDTF

内建函数已经能满足大部分的需求，但是总是无法避免有一些特殊业务逻辑无法用内建的函数来实现的。比如WM_CONCAT是没有排序的，如何实现根据某个字段进行排序的wm_concat。这个时候需要自己编写函数来实现。

准备工作

客户端工具安装
Eclipse/IntelliJ IDEA开发环境的安装
依赖包配置

后续的课程都涉及客户端和IDE开发环境的配置，后续就不再专门提及。

注意事项

UDF的evaluate方法必须是非static的public方法。而且名字不能变。
UDAF/UDTF的注解（@Resolve）不能少。用于设置函数的输出输出数据类型。
UDTF限制1:同一个SELECT子句中不允许有其他表达式
UDTF限制2:UDTF不能嵌套使用
UDTF限制3:不支持在同一个select子句中与 group by / distribute by / sort by 联用

作业

UDF/UDAF/UDTF分别是在什么场景下使用。
用UDAF实现Median函数，并思考Median和平均值的实现上为什么有这么大的区别。
用UDTF实现Split函数，用于把一个字符串根据自定的分隔符分割成多个字符串。

思考题

如何用UDTF实现开窗函数

参考答案

SQL:
传参empno等参数是因为UDTF限制1
把distribute by sort by放到子查询里是因为UDTF限制3
SELECT my_window(empno,ename,job,sal) AS (empno,ename,job,wrn,wsum) FROM (SELECT * FROM emp DISTRIBUTE BY job SORT BY job,sal) a;

JAVA:
package com.aliyun.odps.udtf;

import com.aliyun.odps.udf.ExecutionContext;
import com.aliyun.odps.udf.UDTF;
import com.aliyun.odps.udf.annotation.Resolve;
import com.aliyun.odps.udf.UDFException;

@Resolve({ "bigint,string,string,double->bigint,string,string,bigint,double" })
public class MyWindow extends UDTF {

    private Long cnt;
    private Double sum;
    private String lastJob = "";

    @Override
    public void setup(ExecutionContext ctx) throws UDFException {
        cnt = 0l;
        sum = 0d;
        super.setup(ctx);
    }

    @Override
    public void process(Object[] args) throws UDFException {
        Long empno = (Long) args[0];
        String ename = (String) args[1];
        String job = (String) args[2];
        Double b = (Double) args[3];
        //为了让例子更易懂，去掉了对lastJob和job为空的处理逻辑
        if (!lastJob.equals(job)) {                            
            lastJob = job;                                    
            cnt = 0l;
            sum = 0d;
        }
        sum += b;
        cnt++;
        forward(empno, ename, job, cnt, sum);
    }
}