HIVE中 ROW_NUMBER() OVER() 函数

背景描述

用户IMEI表中，存在一个用户多个IMEI号的情况，需要取得用户最新的IMEI号

解决思路

考虑使用 max(time) 函数，依靠最大时间取得。但是这种方式生成的MapReduce效率极低，因此考虑使用 ROW_NUMBER() OVER 函数

代码示例

select tm.imei,tm.interested_tags \
from ( \
        select imei,interested_tags,ROW_NUMBER() OVER (PARTITION BY imei ORDER BY create_time desc) as row \
        from dg_user_personalization where to_date(create_time)='${CUR_DATE}' and user_id=0 and imei<>'' and imei <> '000000000000000' \
) tm where tm.row=1 \

在这里，PARTITION BY imei ORDER BY create_time desc中，以IMEI为一组，在这一组中按照时间倒排，外面再嵌套一层，取得第一位