sql执行顺序及去重的三种方式

1. sql执行顺序

(1)from
(2) on
(3) join
(4) where
(5)group by(开始使用select中的别名，后面的语句中都可以使用)
(6) avg,sum…
(7)having
(8) select
(9) distinct
(10) order by

注意：

1. sql查询的时候where语句会比select语句先执行，所以在where条件判断的时候还没有进行重命名于是便报错了；
2. order by 语句执行在select之后，直接用select字段中别名。
3. hive不支持group by 别名，如果需要group by 别名的情况，可以使用 别名的 值作为group by 的值。

2.去重的三种方式：distinct、group by、ROW_Number() over()

1. Distinct用法：对select 后面所有字段去重，并不能只对一列去重。

（1）当distinct应用到多个字段的时候，distinct必须放在开头，其应用的范围是其后面的所有字段，而不只是紧挨着它的一个字段，而且distinct只能放到所有字段的前面
（2）distinct对NULL是不进行过滤的，即返回的结果中是包含NULL值的
（3）聚合函数中的DISTINCT,如 COUNT( ) 会过滤掉为NULL 的项

2.group by用法：对group by 后面所有字段去重，并不能只对一列去重。

3. ROW_Number() over()窗口函数

注意：ROW_Number() over (partition by id order by time DESC)
----给每个id加一列按时间倒叙的rank值，取rank=1
select m.id,m.gender,m.age,m.rank
from (select id,gender,age,ROW_Number() over(partition by id order by id) rank
from temp.control_201804to201806
where id!=‘NA’ and gender!=’’ or age!=’’
) m
where m.rank=1