- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hive表获取字段状态变化记录-Lag函数应用
场景：日志表中记录了关于某个实体的状态变化所有信息，想单单提取出，按照时间轴顺序，发生了状态变化的数据行；思路：Lag函数或者Lead函数可以将上一行或者下一行的字段内容获取到本行，这样可以比较字段是否发生变化，进而判断是否状态变化，是否需要提取出该数据行；实现SQL：1. 数据行内容select house_id, status, create_t
2017-02-28 09:40:16
2051
原创 Mongodb数据同步到Hive
思路：利用Mongodb的export工具导出数据成json格式； load该json数据到临时hive表的一个字段； 从该临时hive表解析json落地成最终的表；代码：1. 利用Mongodb的export工具导出数据成json格式$mongo_path/bin/mongoexport -h $host:27017 -u
2017-02-27 21:01:23
1699
原创 HIVE下分布式生成整型唯一ID
场景：hive下target_table表id字段需要唯一实现方法代码如下：select t2.rn+row_number() over() as id, t1.afrom ( select 1 as a union all select 2 as a union all select 3 as a union all
2017-02-27 20:26:26
2678
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人