hive中任意相邻时间段数据获取

通过sql语句获取相邻时段数据不比通过其它编程语言,因为sql里面没有for循环,故在实现时需要增加一份副表数据,这里对该方法做一个记录。
背景:获取2017年全年平台用户进出贵州省的次数(分为进港次数和出港次数)。
处理方式:
1.根据定位数据获取当年在贵州出现过的用户
2.获取这些用户的全部定位数据,并根据定位时间进行排序
hive中任意相邻时间段数据获取
如上,从左到右以此分别为用户id,定位时间,定位省份id,排序编号,是否定位在贵州
3.这里考虑根据if_loc这个字段来判断用户是入港还是出港,但是仅仅依靠这张a表还无法完全实现,因此考虑增加一张b表,b表的数据来自于a表,但两张表对rn值对应的数据会有一些差别
hive中任意相邻时间段数据获取
其中 b.rn_b = a.rn - 1
4.两张表进行关联,获取进港、出港标签port_flag

select a.bid,a.uploadtime,a.province_id,b.if_loc_b - a.if_loc port_flag
from  a
inner join  b on (a.bid = b.bid and a.rn = b.rn_b)

当port_flag = 1 时为入港,port_flag = -1 时为出港,port_flag = 0时为港内持续定位。

入港和出港涉及到两个时段的定位数据,通过这种方式,自然也可以获取到两个时段内的其它数据。

转载于:https://blog.51cto.com/abezoo/2080183

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值